python3.7.2爬虫lxml解决GB2312乱码的问题

    看了很多文章都无法解决新版3.72爬虫使用LXML抓取中文网页乱码的问题。我结合我自己的一些粗浅的经验谈谈，以及很便捷的解决方法，亲测可用。

一、产生原因

    python自带的是的编码是utf-8，而一些中文网站使用的是GBK或者GBK2312，两个编码不兼容。

二、一般的代码

    以下的代码会产生乱码，原因就是网址中中文字符采用的是GBK2312的编码。

```

import requests

from lxml import html

etree=html.etree

url='https://www.51test.net/show/9218752.html' #需要爬的网址

page=requests.Session().get(url)

tree=html.fromstring(page.text)#有篇文章说，把text换成conten,确实能，但不能完全显示

result=tree.xpath('//div//p//text()') #需要获取的数据

result2=tree.xpath('//div[@class="content-txt"]//tr[last()]//a/@href')

#print(result)

with open('C:/Users/Administrator/Desktop/新建文本文档.txt','w',encoding="gbk") as f:#使用with open()新建对象f

    for i in result:

        print(i)

        f.write(i+'\n')#写入数据

```

    新代码，我只改动了下面的加粗部分。

```

import requests

from lxml import html

etree=html.etree

url='https://www.51test.net/show/9218752.html' #需要爬的网址

page=requests.Session().get(url)

tree=html.fromstring(page.content.decode('gbk'))#不是utf-8，如何转码，把（page.text）改为(page.content.decode('gbk'))

result=tree.xpath('//div//p//text()') #需要获取的数据

result2=tree.xpath('//div[@class="content-txt"]//tr[last()]//a/@href')

#print(result)

with open('C:/Users/Administrator/Desktop/新建文本文档.txt','w',encoding="gbk") as f:#使用with open()新建对象f

    for i in result:

        print(i)

        f.write(i+'\n')#写入数据

```

    注意，注意，注意：虽然编码为GBK2312，但是实测只需要decode('gbk')就行了，改成GBK2312，反而出问题，不知道是我大小写的问题还是什么问题，反正如果不行的化就改为gbk吧。

三、感想体会

    3.72版本没有了etree，改为了tree，我就觉得要适应，这种写法也完全能适应。爬虫使用requests和lxml两个模块基本可以满足应用了。

    接下来，我将一个人奋斗，不买书，就是啃代码，写感受，我想到哪，写到哪，有兴趣的小白可以和我一起努力。