ScrapyJS Splash 400 bad request原因及解决方法

如果在Scrapy中使用了ScrapyJS下载器中间件,且设置了Splash为代理时,可能会出现400 bad request错误而导致爬虫终止运行。其他有可能的一个原因是,如果使用了Splash Script,脚本的格式不对会导致此错误的出现。正确的格式如下:
ScrapyJS Splash 400 bad request原因及解决方法_第1张图片
需要注意的是,一定要严格按照图上的方式对齐。

你可能感兴趣的:(scrapy,爬虫)