Python中同一字符串使用chardet检测字符编码，为何结果会不同？

字符检测不是 100%确定的。
是根据文件的字节在各种编码情况下的概率。

简单说假设 utf8 某个字节只可能是 00 - CC，但是这个字节是 DD，那么基本可以确定这个文件不是 utf8。
另外一个角度，这个文件的字节有 90%都符合一个正常 utf8 文件的字节排列，那么很大概率这个文件就是 utf8。

确定文件编码除了含 bom 的 utf8，包含有明确特征的文件头，其他格式基本就是靠猜。

这个问题其实挺常见的。chardet检测编码的原理是基于统计和概率模型，对文本内容进行采样分析。当同一字符串多次检测结果不同时，通常有以下几个原因：

1. 采样随机性：chardet默认会从文本中采样一部分数据进行分析。如果采样点不同，统计特征可能有细微差异，导致置信度接近的编码之间结果波动。

2. 文本长度过短：短文本（比如几个字）包含的统计特征不足，不同编码的统计模型可能得出相似的概率，导致每次检测的“猜测”结果在几个候选编码间摇摆。

3. 编码本身模糊性：某些字节序列在多种编码中都是合法的（比如ASCII范围内的字符在UTF-8、GBK、ISO-8859-1中表现一致），chardet可能会给出多个可能性相近的结果。

如果你需要稳定结果，可以尝试：

• 增加文本长度
• 使用detect()函数的should_rename_legacy参数
• 或者对同一文本多次检测取置信度最高的结果

不过对于短文本或模糊文本，编码检测本身就不完全可靠，最好能通过元数据或协议确定编码。

总结：这是统计检测方法的固有特点，短文本或模糊文本结果易波动。

虽然你在 V2EX 问过好多遍了，但是这次的需求说的更为清楚，所以我可以重新回答一下。

这次你说清楚了你的解码内容只有汉字。那么，不妨直接调用 chardet 提供的 big5prober、gb2312prober、utf8prober，然后选择其中置信度最高的一个，这样自然不可能判定为除此三种之外的其他编码。

如果这样的效果仍然不能被接受（也就是说，被误判为三种当中的另外两种编码），你可以考虑根据实际情况调整三种编码的权重。或者拟定一个常用字范围，如果看起来「像乱码」（生僻字），再试着有另一种解码器。