不想当将军的士兵不是好士兵，同理，不想当主程的程序员不是好程序员~
上一节我们讲了Scrapy的初步用法，我们已经学会了如何创建scrapy工程，如何编写简单的爬虫。
本节目标
- 学会Scrapy item的创建及使用
- 使用Scrapy将抓取到的数据存入json
- 使用Scrapy Pipeline做数据处理
- 学会暂停工程与重新开始工程
代码预览
- items.py
class TutorialItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
pass
class xianyuItem(scrapy.Item):
title = scrapy.Field()
url = scrapy.Field()
pass
- pipelines.py
import pymongo
class TutorialPipeline(object):
def open_spider(self, spider):
self.client = pymongo.MongoClient('localhost', 27017)
self.test = self.client['test']
self.testData = self.test['testData']
pass
def process_item(self, item, spider):
data = {
'title': item['title'],
'url': item['url']
}
self.testData.insert_one(data)
return item
def close_spider(self, spider):
pass
- spider.py
#coding:utf-8
import scrapy
from bs4 import BeautifulSoup
from ..items import xianyuItem
class testSpider(scrapy.Spider):
name = 'test'
start_urls = ['http://tj.ganji.com/fang1/']
def parse(self, response):
print 'lalala'
for title in response.xpath('//*[contains(concat( " ", @class, " " ), concat( " ", "js-title", " " ))]'):
url = title.xpath('@href').extract()[0]
if url.find('http')==-1:
url = 'http://tj.ganji.com'+url
yield scrapy.Request(url, self.detail)
def detail(self, response):
data = BeautifulSoup(response.body, 'lxml')
title = data.select('div.content.clearfix > div.leftBox > div.col-cont.title-box > h1')
item = xianyuItem()
item['title'] = title[0].get_text()
item['url'] = response.url
return item
- settings.py
ITEM_PIPELINES = {
'tutorial.pipelines.TutorialPipeline': 300,
}
代码剖析
今天的代码由三部分主体构成，首先来看items.py
class xianyuItem(scrapy.Item):
title = scrapy.Field()
url = scrapy.Field()
pass
其实很好理解力，定义一个我们自己的item结构，里面有两个field，一个是title用来存储抓来的标题，一个是url用来存储抓来的url，我们直接跳到使用部分。
看spider.py，首先：
from ..items import xianyuItem
这里需要注意的是，因为items.py和我们的spider.py并不在同级目录，如果要import需要在前面加上..表示上级目录，当然也可以这样
from tutorial.items import xianyuItem
但是这样会在pycharm里面报错，我个人不喜欢看到红字~推荐用上面的方式。我们来看detail函数：
def detail(self, response):
data = BeautifulSoup(response.body, 'lxml')
title = data.select('div.content.clearfix > div.leftBox > div.col-cont.title-box > h1')
item = xianyuItem()
item['title'] = title[0].get_text()
item['url'] = response.url
return item
我们先创建一个xianyuItem对象，然后给里面每个field赋值，最后return这个对象。这样，item就会被pipeline抓到。接下来我们用命令把抓来的数据导入到json文件中。进入tutorial项目跟目录，执行
scrapy crawl test -o test.json -t json
-o表示文件写入目录 -t 表示格式，执行完后打开test.json结果如图：
这样就可以把数据存入json中，接下来我们看看pipelines.py
def open_spider(self, spider):
def process_item(self, item, spider):
def close_spider(self, spider):
三个函数，第一个open_spider在spider开始的时候执行，在这个函数中我们一般会连接数据库，为数据存储做准备，上面代码中我连接了mongo数据库。process_item函数在捕捉到item的时候执行，一般我们会在这里做数据过滤并且把数据存入数据库。close_spider在spider结束的时候执行，一般用来断开数据库连接或者做数据收尾工作。
写好pipeline之后我们需要到settings.py中开启pipeline：
ITEM_PIPELINES = {
'tutorial.pipelines.TutorialPipeline': 300,
}
找到ITEM_PIPELINES 选项，把我们pipeline的路径配置进去，后面的数字表示的是pipeline的执行顺序，我们可以写多个pipeline用来过滤数据。执行结果如下：
至此，我们本次代码解析完毕。你们应该已经会使用item和pipeline了吧。如果还有困惑可以去看官方文档~
小技巧
当我们一个爬虫项目量非常大时候，我们可能不能一次执行完毕，需要分好几次执行，这时候，我们只需要在启动爬虫的时候键入命令
scrapy crawl xxx -s JOBDIR=job1
这时候我们可以看到任务开始执行了，当我们想要暂停的时候按下ctrl+c。当我们想要恢复的时候键入：
scrapy crawl xxx -s JOBDIR=job1
这样就可以继续执行了~~
这样，我们今天所有的目标都达成了，鼓掌~~
写在最后
这一章我们学习了一些进阶技巧，那么下一章我们还是Scrapy，下一章我们会讲如何使用CrawlSpider做多网页扒取，同时也会讲一些小技巧，比如，如何动态更改User-Agent进行反扒，如何设置扒取间隔等等~
有兴趣的同学可以加群498945822一起交流学习哦~~
发现问题的同学欢迎指正，直接说就行，不用留面子，博主脸皮厚！