使用chardet探测字符串编码

有时在使用python爬虫爬取页面时，返回的内容是乱码的，一种行之有效的方法是利用chardet(需要使用pip安装)探测字符串的编码，再相应调整爬虫的编码方式进行解码。示例如下：

1.利用requests爬取页面内容

In [86]: import requests

In [87]: r = requests.get('http://2017.ip138.com/ic.asp')

In [88]: r.text
Out[88]: '\r\n\r\n\r\n\r\n\r\nÄúµÄIPÊÇ£º[XX.XX.XX.XX] À´×Ô£º±±¾©Êб±¾©ÊÐ Åô²©Ê¿¿í´ø'

In [89]: r.content
Out[89]: b'\r\n\r\n\r\n\r\n\r\n\xc4\xfa\xb5\xc4IP\xca\xc7\xa3\xba[XX.XX.XX.XX] \xc0\xb4\xd7\xd4\xa3\xba\xb1\xb1\xbe\xa9\xca\xd0\xb1\xb1\xbe\xa9\xca\xd0 \xc5\xf4\xb2\xa9\xca\xbf\xbf\xed\xb4\xf8'

此时可以看到，r.text的内容为乱码，r.content的内容为字节码，说明该爬虫默认的编码不能解码此页面的内容。查看爬虫的默认编码方式如下：

In [90]: r.encoding
Out[90]: 'ISO-8859-1'

2.利用chardet探测字符串编码
现在我们先探测爬取的页面的编码方式：

In [91]: import chardet

In [92]: chardet.detect(r.content)
Out[92]: {'confidence': 0.99, 'encoding': 'GB2312', 'language': 'Chinese'}  # 说明页面的编码方式为GB2312

修改爬虫的编码方式，再次查看页面内容

In [93]: r.encoding = chardet.detect(r.content)['encoding']

In [94]: r.text
Out[94]: '\r\n\r\n\r\n\r\n\r\n您的IP是：[XX.XX.XX.XX] 来自：北京市北京市 XX'

可以看到，修改了爬虫的编码方式后，能够正确显示页面内容了。

总结：chardet是一个优秀的字符串/文件编码检测模块，能够成为爬虫的常备工具箱之一。

备注：感谢@Python雁横的提醒，使用r.encoding = r.apparent_encoding即可方便的解决问题。因为r.apparent_encoding就使用了chardet的库。如下所示：

In [41]: r.apparent_encoding?
Type:        property
String form: 
Docstring:   The apparent encoding, provided by the chardet library.