2018-05-13

Scrapy爬虫

1.新建爬虫工程

scrapy startproject Spider(项目名字)

Spider目录表

2.创建爬虫模块

爬虫模块

在Spider文件夹中创建该代码。

3.网页解析

Scrapy有一套自己的数据提取机制（selector），通过特定的Xpath 或者css表达式来选择HTML文件中的成分。
Selector四种基本方法：

• xpath(query):传入Xpath表达式query，返回表达式所对应的所有节点的selector list列表
  -css(query):传入CSS表达式，返回对应的列表
• extract():序列化该节点为Unicode字符串并返回列表

• re(regex):根据传入的正则表达式对数据进行提取，返回Unicode字符串列表。regex可以是一个已经编译好的正则表达式，也可以是一个将为regex编译为正则表达式的字符串。
  Xpath
  路径选择

  
  
  路径表达式
  
  
  谓语
  
  
  选取未知节点
  
  
  选取若干路径
  
  
  Xpath轴
  
  
  步的语法
  
  
  例子
  
  

  item.xpath(".//*[@class='title']/a/@href").extract()[0])返回系统自带的那个里面是一些你提取的内容中list的第一个元素
  带有 yield 的函数在 Python 中被称之为 generator（生成器）

4. Item

image.png

如果需要在原始item的基础上拓展item，则：class newSpiderItem(scrapy.Item)
xxx = scrapy.Field()

5. Item Pipeline(数据保存)

存储图片
定制图片管道的形式，即在ImagePipeline类中实现，为当前要下载的图片保持一个内部队列，将达到的包含相同图片的项目连接到队列中，可以避免多次下载几个项目的同一图片。流程如下
-在一个爬虫里，你抓取一个项目，把其中图片的URL放入 image_urls 组内。
-项目从爬虫内返回，进入项目管道。

• 当项目进入 [ImagesPipeline]，image_urls 组内的URLs将被Scrapy的调度器和下载器（这意味着调度器和下载器的中间件可以复用）安排下载，当优先级更高，会在其他页面被抓取前处理。项目会在这个特定的管道阶段保持“locker”的状态，直到完成图片的下载（或者由于某些原因未完成下载）。

4. 当图片下载完，另一个组(images)将被更新到结构中。这个组将包含一个字典列表，其中包括下载图片的信息，比如下载路径、源抓取地址（从 image_urls 组获得）和图片的校验码。 images 列表中的图片顺序将和源 image_urls 组保持一致。如果某个图片下载失败，将会记录下错误信息，图片也不会出现。
   开启通道，需要在项目中添加 ITEM_PIPELINES
   即ITEM_PIPELINES = {'scrapy.contrib.pipeline.images.ImagesPipeline':1}并将IMAGE_STTORE设置为有效的文件夹，用来存储下载的图片。

6.运行爬虫

scrapy crawl Spider