Scrapy爬虫系列笔记之六:使用item以及对得到的数据进行存储以及处理_by_书訢

建议参照目录大纲，即笔记第一篇来了解大致路线后进行博客查阅。每大章的分支都十分清楚。

2.3将得到的数据进行存储

将一个url中的内容进行下载，并且使用选择器进行选择以后得到了内容。应该怎么将我们得到的内容进行存储呢？

步骤如下：
1.在items中定制我们自己的item

class ArticleItem(scrapy.Item):
 title = scrapy.Field()
 field = scrapy.Field()
 time = scrapy.Field()
 tag = scrapy.Field()

2.在parse函数中实例化item类，并进行填充数据

from ArticleSpiser.item import ArticleItem
def parse(self,response):
 article_item = ArticleItem()
 '''
 逻辑代码
 假设我们通过选择器得到了title，field，time，tag的值
 '''
 #进行填充
 article_item["title"] = title
 article_item["field"] = field
 article_item["time"] = time
 article_item["tag"] = tag
 yeild article_item

3.这样将item对象yeild以后就会传递到pipelines中去
我们在pipeline中操作就可以实现数据存储到文件，数据库了
文件保存以及数据库存储就不展开了，资料很多

综上完成静态网站的爬取以及数据存储。

笔记一到十链接
http://blog.csdn.net/sx_csu2016sw/article/details/79284369
http://blog.csdn.net/sx_csu2016sw/article/details/79284427
http://blog.csdn.net/sx_csu2016sw/article/details/79284449
http://blog.csdn.net/sx_csu2016sw/article/details/79284469
http://blog.csdn.net/sx_csu2016sw/article/details/79284481
http://blog.csdn.net/sx_csu2016sw/article/details/79284491
http://blog.csdn.net/sx_csu2016sw/article/details/79284509
http://blog.csdn.net/sx_csu2016sw/article/details/79284525
http://blog.csdn.net/sx_csu2016sw/article/details/79284547
http://blog.csdn.net/sx_csu2016sw/article/details/79284567