Scrapy:使用Item Pipeline处理数据

Item Pipeline是处理数据的组件

process_item

一个Item Pipeline必须实现process_item(item,spider)方法,该方法用来处理爬取到的数据,item是爬取到的数据,spider是此项数据的Spider对象

open_spider(self,spider)

spider打开时回调此方法,常用于开始处理数据之前的初始化工作,如打开数据库

close_spider(self,spider)

spider关闭时回调此方法,用于处理完数据的某些清理工作,如关闭数据库

from_crawler(cls,crawler)

创建Item Pipeline对象时对调该类方法

你可能感兴趣的:(网络爬虫)