scrapy设置每个爬虫自己的pipline

1:全局设置

scrapy的pipline,相当于拦截器;他的设置可以在settings.py文件里设置,设置后对所有的spider都起作用

如图:1表示执行的顺序

scrapy设置每个爬虫自己的pipline_第1张图片

2:为单个spider设置

如果摸个pipline这是需要某些spider起作用可以个性化设置如图:

scrapy设置每个爬虫自己的pipline_第2张图片

这样只有这个spider会使用此pipline。此时不要再在settings.py文件里设置

你可能感兴趣的:(python,scrapy)