scrapy框架使用splash出现raise ValueError('Missing scheme in request url: %s' % self._url)

今天在写一个爬虫demo的时候出现如下错误:

raise ValueError('Missing scheme in request url: %s' % self._url)

scrapy框架使用splash出现raise ValueError('Missing scheme in request url: %s' % self._url)_第1张图片

按照字面意思便是URL有问题,缺少scheme, 于是边检查请求的url,但是反复确认后发现请求地址正常的,而且有'http:'的头,经过反复检查,终于发现原因:由于我使用了splash进行渲染,配置splash地址的时候缺少了scheme

scrapy框架使用splash出现raise ValueError('Missing scheme in request url: %s' % self._url)_第2张图片

 

解决方法:添加上头部,按注释掉的那一行配置即可

你可能感兴趣的:(python,爬虫)