requests请求报错:Invalid header name b:authority

第一次遇见这种问题,虽然很小已解决,但还是要记录一下。

在爬取http://www.questmobile.com.cn/这个网站时,遇到图片无法加载的问题,其中显示如标题这种错误,

其他数据都可以抓取下来,但唯独图片不可加载。

这种问题就出现在请求头上,如下:

self.headers = {
            ':authority': 'ws.questmobile.cn',
            ':method': 'GET',
            ':path': '/website/article/images/72/21.JPG',
            'scheme': 'https',
            'accept': 'image/webp,image/apng,image/*,*/*;q=0.8',
            'accept-encoding': 'gzip, deflate, br',
            'accept-language': 'zh-CN,zh;q=0.9',
            'referer': 'http://www.questmobile.com.cn/research/report-new/72/',
            'sec-fetch-mode': 'no-cors',
            'sec-fetch-site': 'cross-site',
            'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3941.4 Safari/537.36'
        }

只要将请求头中key值之前带有的“:”去掉,然后去请求就成功了,其它按正常思路走就可以了。

你可能感兴趣的:(爬虫,python,headers)