五、scrapy中的item功能

非结构的数据源提取成结构性的数据,把乱七八糟的网页定义成自己的结构。我们可以将这些字段,分别放入我们的字典中来。通过字典返回给scapy。Item类似于字典,比字典更齐全些。

scrapy发现是item时候会把item路由到pipeline中去,可以在pipeline中集中处理数据的保存和去重。这就是item带给我们的好处。

Item只有field类型,代表任何传递进来的东西都可以。图片,文字,元组......都可以。

1、胡子眉毛一起抓,a标签下网页的url和图片的url一起抓取下来。

五、scrapy中的item功能_第1张图片




五、scrapy中的item功能_第2张图片
把pipeline给注释掉的打开
五、scrapy中的item功能_第3张图片

values是自己解析出来的value值

pipeline中记得打断点,进行测试。

你可能感兴趣的:(五、scrapy中的item功能)