python爬取网站遇到中文乱码的解决方案

乱码问题1：由于Requests模块带来的乱码。

当HTTP header有指定字符集的时候，会采用指定的字符集。
当HTTP header不存在明确指定的字符集，Requests会去猜测编码方式。
但是这时候不能保证一定会解码正确，可能你get下来的文档都是这样的：
解决办法比较简单，加上这么一句话就行了：get对象.encoding = 'utf-8'

new_url = 'https://baike.baidu.com/item/Python/407313'
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) \
      AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.62 Safari/537.36'}
request = requests.get(new_url, headers = headers)
if request.status_code == 200:
    request.encoding = 'utf-8'  #关键就在于这一句话上面。
print("request.text= ", request.text) 

乱码问题2：由于Windows系统带来的乱码

Windows系统是一个非常奇葩的系统，如果习惯编程的程序猿就会发现，其实Windows一点也不方便好用。
对于编码问题，这一点尤其严重。
Windows系统带来的编码问题，还分为两类，一类是打开文件的编码问题；一类是cmd终端的编码问题。
请牢记一点：Windows系统里面文件打开后，默认的编码方式为GBK。
所以，如果利用Python的open一句，千万千万不要忘了加上这句话：encoding="utf-8"

content = 'Windows就是瘟到死'
with open('windows_encode.txt', 'w+', encoding="utf-8") as f:
      f.write(content)

如果你不加这一句，你会发现文件打开之后是乱码，或者报错如下：
UnicodeEncodeError: 'gbk' codec can't encode character '\xa0' in position 46: illegal mutibyte sequence
然后你去百度这个问题，很多人会告诉你gbk无法转换'\xa0'字符，所以在转换前需要将“\xa0”替换掉（string.replace(u'\xa0', u' ')）,然而这是一个烂方法，好方法就彻底解决编码问题。

最后，cmd的编码问题也和上面情况类似，打开cmd的属性页，你会发现上面显示当前代码页，这就是cmd的默认编码，通常都是GBK。
所以有时候你从cmd窗口输出utf-8字符的时候，会发生解码错误问题，导致你输出了一堆乱码。一般来说，python2里面出现这个问题比较多，Python3解码问题解决的比较好，只要你注意到了随时随地加上encoding="utf-8"这种声明，基本不会有什么问题。

1.PNG