python Scrapy Itempipline 到底实在什么时候被调用?

python Scrapy Itempipline 到底实在什么时候被调用

最近在写毕设,用到了Scrapy ,爬取一个url的时候,dubug能执行自定义的PipLine,把一条item存到数据库,但是当我爬取多个url时,发现,要等到start_url中的url全部爬取完毕才会最后去执行保存到数据库的操作(也即是pipline里的),执行过程中 刷新数据库不显示新的数据,所有当我开始知道Scrapy时什么异步的爬虫框架,结果最后采取统一执行插入数据库的操作我就懵逼了,这还没自己不用框架写的爬的快.
自己刚学的,还是小白,望各位大佬指点江山

你可能感兴趣的:(编程,Scrapy)