'utf-8' codec can't decode byte 0x8b in position 1: invalid start byte(爬虫问题)

问题背景(注:python3):

用urllib.request抓去网页提示:

print(reponse.read().decode('utf-8'))
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8b in position 1: invalid start byte

  而requests就没有出现问题。

原因:headers中有

'Accept-Encoding': 'gzip, deflate, br'

  这行代码代表:本地可以接收压缩格式的数据。

  服务器在处理时将大文件压缩再发回客户端,IE在接收完成后在本地对这个文件又进行了解压操作。

  出错的原因是:程序没有解压这个文件

  解决:删掉这行代码

你可能感兴趣的:(python爬虫)