上一节中将伯乐在线的所有文章进行了抓取并完成解析，接下来就是将解析的数据保存到item容器，并通过项目管道(ipipeline) 将其实体化，最终目的是将数据存放到数据库中
在开始前请童鞋自行恶补一下迭代器的相关知识
首先，编写items.py文件
class JobboleArticleItem(scrapy.Item):
title = scrapy.Field()
create_date = scrapy.Field()
url = scrapy.Field()
url_object_id = scrapy.Field()
front_img_url = scrapy.Field()
front_img_path = scrapy.Field()
fav_nums = scrapy.Field()
comment_nums = scrapy.Field()
tags = scrapy.Field()
content = scrapy.Field()
praise_nums = scrapy.Field()
新建JobboleArticleItem，将我们需要迭代的数据在item中进行定义，这里的变量均为spider中抓取的详情页信息，新增两个字段
url_object_id = scrapy.Field() # 将我们获取到的文章链接通过md5进行格式化
front_img_path = scrapy.Field() # 收集本地图片存储路径，稍后会将其与front_img_url（图片链接）进行关联
修改我们的spider jobbole.py文件
class JobboleSpider(scrapy.Spider):
name = 'jobbole'
# allowed_domains = ['blog.jobbole.com/']
start_urls = ['http://blog.jobbole.com/all-posts/']
def parse(self, response):
# 解析列表页中的所有文章链接交给scrapy
post_nodes = response.css('#archive .floated-thumb .post-thumb a')
for post_node in post_nodes:
# scrapy 的机制，可以直接进行嵌套的select
image_url = post_node.css('img::attr(src)').extract_first('')
# 获取封面图片链接
post_url = post_node.css('::attr(href)').extract_first('')
# 获取文章链接
yield Request(url=parse.urljoin(response.url, post_url), meta={'front_img_url': image_url}, callback=self.parse_detail)
# meta={'front_img_url': image_url}将获取到的封面图片链接传递到回调函数parse_detail中
next_urls = response.css('.next.page-numbers::attr(href)').extract_first('')
if next_urls:
yield Request(url=parse.urljoin(response.url, post_url), callback=self.parse)
def parse_detail(self, response):
# 实例化一个JobboleArticleItem()对象
article_item = JobboleArticleItem()
# 使用get方法获取meta中的数据，默认为空
front_img_url = response.meta.get('front_img_url', '')
# 提取文章的具体字段
# 标题
title = response.xpath('/html/body/div[1]/div[3]/div[1]/div[1]/h1/text()').extract_first('')
# 文章发布时间
create_date = response.xpath("//p[@class='entry-meta-hide-on-mobile']/text()").extract()[0].strip().replace("·", "").strip()
# 文章点赞数
praise_nums = response.xpath("//span[contains(@class,'vote-post-up')]/h10/text()").extract()[0]
# 文章收藏数
fav_nums = response.xpath("//span[contains(@class,'bookmark-btn')]/text()").extract()[0]
match_fav_re = re.match('(\d+)', fav_nums)
if match_fav_re == None:
fav_nums = 0
else:
fav_nums = match_fav_re.group(0)
# 文章评论数
comment_nums = response.css("span.hide-on-480::text").extract_first('')
match_comment_re = re.match('(\d+)', comment_nums)
if match_comment_re == None:
comment_nums = 0
else:
comment_nums = match_comment_re.group(0)
# 文章整体信息
content = response.xpath("//div[@class='entry']").extract()[0]
# 文章领域等
tag_list = response.xpath("//p[@class='entry-meta-hide-on-mobile']/a/text()").extract()
for element in tag_list:
if not element.strip().endswith('评论'):
tags = ','.join(tag_list)
# 填充数据
# 这里的 get_md5是我们接下来要建立的url转化函数
article_item['url_object_id'] = get_md5(response.url)
article_item['title'] = title
article_item['create_date'] = create_date
article_item['url'] = response.url
article_item['front_img_url'] = [front_img_url]
article_item['fav_nums'] = fav_nums
article_item['comment_nums'] = comment_nums
article_item['tags'] = tags
article_item['content'] = content
article_item['praise_nums'] = praise_nums
yield article_item
获取了图片链接，就需要进行下载，scrapy为我们提供了图片下载工具，首先需要在setting中进行相关配置
第一，调用ImagesPipeline方法
ITEM_PIPELINES = {
'Article.pipelines.ArticlePipeline': 300,
# 参数为执行方案，越小越先执行，在这里，先下载图片，再执行ArticlePipeline（详细数据保存）
'scrapy.pipelines.images.ImagesPipeline': 1,
}
第二配置图片下载地址
# 配置图片下载地址，直接调用item.py文件中的变量
IMAGES_URLS_FIELD = 'front_img_url'
第三配置图片本地保存路径
# 获取Article文件夹的绝对路径
project_dir = os.path.abspath(os.path.dirname(__file__))
# os.path.dirname(__file__) 获取的是当前文件所在文件夹的名称
# os.path.abspath() 获取的是当前文件的绝对路径
# 配置图片保存路径
IMAGES_STORE = os.path.join(project_dir, 'images')
编写pipeline.py文件，重载图片下载函数，获取image的存储路径并回传item报存
# 重载图片下载函数，将图片的保存地址回传到item中，与图片url变量front_img_url进行关联
class ArticleImagesPipeline(ImagesPipeline):
def item_completed(self, results, item, info):
for ok,value in item:
image_path_item = value['path']
item['front_img_path'] = image_path_item
return item
创建common.py文件，编写md5转化url函数
import hashlib
def get_md5(url):
# 判断url的类型是否为Unicode，在py3中，str就是Unicode类型
if isinstance(url, str):
url = url.encode('utf-8')
m = hashlib.md5()
m.update(url)
return m.hexdigest()
之后就可以在spider中进行调用
article_item['url_object_id'] = get_md5(response.url)
至此item相关开发完成，接下来就是讲item中的数据保存到我们的数据库中