python-scrapy框架爬取以“GBK”编码的网页

• 网页编码方式的查看方法

F12打开开发者工具->在控制台console输入document.charset回车

• scrapy框架爬取以“GBK”编码的网页

方法一：

req = requests.get(headers=header, url=url)
content = req.content
print(content.encode('utf-8'))

然后将输出流到某一文件中，用utf-8编码打开

方法二：

req = requests.get(headers=header, url=url)
req.encoding = "gbk"
print(req.content)

然后用gbk编码打开文件

 

我粗暴地修改了scrapy库里robotstxt.py中的默认utf-8编码，也可以，不过这种方法不推荐，下一次爬取还得改回来。