第一次遇见这种问题,虽然很小已解决,但还是要记录一下。
在爬取http://www.questmobile.com.cn/这个网站时,遇到图片无法加载的问题,其中显示如标题这种错误,
其他数据都可以抓取下来,但唯独图片不可加载。
这种问题就出现在请求头上,如下:
self.headers = {
':authority': 'ws.questmobile.cn',
':method': 'GET',
':path': '/website/article/images/72/21.JPG',
'scheme': 'https',
'accept': 'image/webp,image/apng,image/*,*/*;q=0.8',
'accept-encoding': 'gzip, deflate, br',
'accept-language': 'zh-CN,zh;q=0.9',
'referer': 'http://www.questmobile.com.cn/research/report-new/72/',
'sec-fetch-mode': 'no-cors',
'sec-fetch-site': 'cross-site',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3941.4 Safari/537.36'
}
只要将请求头中key值之前带有的“:”去掉,然后去请求就成功了,其它按正常思路走就可以了。