利用chardet检测编码

一个很好用的检测文档编码的三方库chardet

下载地址为

http://pypi.python.org/pypi/chardet

文档地址

http://chardet.feedparser.org/docs/

使用方法为

>>> import urllib

>>> rawdata = urllib.urlopen('http://www.51voa.com/VOA_Standard_English').read()

>>> import chardet

>>> chardet.detect(rawdata)

{'confidence': 1.0, 'encoding': 'UTF-8'}

如果是字符串的话直接只要后面一段就可以了

然后使用类似下面的语句就可以编码为你想要的编码了

htm=unicode(text,'gb2312','ignore').encode('utf-8','ignore')

或者

soup=BeautifulSoup(s,fromEncoding="GBK")

beautifulsoup的默认输出编码是utf-8