Scrapy框架爬取时，UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb1 in position解决方法

编码嘛，不是utf8就是gbk
这里贴上代码

import demjson
start_urls = ['https://pic.sogou.com/pics/channel/getAllRecomPicByTag.jsp?category=壁纸&tag=全部&start=0&len=15']

    def parse(self, response):
        content = demjson.decode(response.body.decode('gbk'))# 这样就可以了

首先要管理员身份运行cmd，pip安装一下更强大的json解析库demjson

pip install demjson

然后对要提取的内容进行gbk的解码在用demjson.decode()解析获得python对象的json数据

content = demjson.decode(response.body.decode(‘gbk’))