爬虫之Scrapy框架--------> @_@

scrapy框架的流程图

2018-11-01框架流程图

1、scrapy框架主要为个块

      （1）Scrapy Engine(引擎)： 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。
       (2)Scheduler(调度器): 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。
       (3)Downloader（下载器）：负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理
       (4)Spider（爬虫）：它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)
       (5)Item Pipeline(管道)：它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方.
       (6)Downloader Middlewares（下载中间件）：你可以当作是一个可以自定义扩展下载功能的组件。
       (7)Spider Middlewares（Spider中间件）：你可以理解为是一个可以自定扩展和操作引擎和Spider中间通信的功能组件（比如进入Spider的Responses;和从Spider出去的Requests）

2、制作 Scrapy 爬虫 一共需要4步

1、新建项目: scrapy startproject 爬虫项目名称
2、新建一个新的爬虫明确目标:（编写items.py）：明确你想要抓取的目标
3、制作爬虫scrapy genspider 爬虫文件名称 域名:制作爬虫开始爬取网页
4、存储内容pipelines.py）：设计管道存储爬取内容

3、scrapy 框架配置和安装

1、Ubuntu 安装方式：sudo pip3 install scrapy

4、scrapy框架的使用

1、创建爬虫项目：scrapy startproject 项目名

2、新建爬虫文件：scrapy genspider 爬虫的名字 域名

3、明确我们的目标，就是我们所要抓取的url

4、打开项目文件下的item.py文件，在这里我们要写入我们所需要获取的数据字段

5、打开settings.py文件我们需要在这里配置爬虫需要的信息

6、打开爬虫文件，在这里我们从item里获取需要解析的字段进行解析以及提取所需要的url用yield回调。注意：yield 的作用就是把一个函数变成一个 generator（生成器），带有 yield 的函数不再是一个普通函数，Python 解释器会将其视为一个 generator，带有yeild的函数遇到yeild的时候就返回一个迭代值，下次迭代时， 代码从 yield 的下一条语句继续执行，而函数的本地变量看起来和上次中断执行前是完全一样的，于是函数继续执行， 直到再次遇到 yield。

2018-11-05 举例.png

这里的name是指爬虫的名字
allowed_domains指的是允许爬虫访问的域
atart_urls指的是我们的初始目标url

6、Scrapy Item pipeline(管道文件)使用

1、Item Pipeline 当Item在Spider中被收集之后，它将会被传递到Item Pipeline，这些Item Pipeline组件按定义的顺序处理Item。每个Item Pipeline都是实现了简单方法的Python类，比如决定此Item是丢弃而存储。
在这里我们把管道作为储存和过滤

例如：

2018-11-05 19-23-14mongodb.png

在这里我们把数据保存至mongodb数据库中，在设置好ip和数据库的端口之后，
指定它要存入的数据库和集合，如果没有那个数据库和集合，代码会帮我们自动创建

7、下载项目图片(下载到本地)

1、可以现在seetings.py文件里面定义一个本地图片的保存路径,例如：IMAGES_STORE = '/home/ljh/桌面/1804爬虫/jobboleImage'

2、在items里面定义好项目图片的url,以及本地存储路径的字段

3、在爬虫文件里面对图片地址进行解析

4、解析好的url返回给管道，进行响应以及对图片的下载，具体操作如下

2018-11-05 20-01-09图片下载图.png

5的pipelines.py为爬虫文件，我们在这里的操作在主要是数据的过滤，保存和上传

Spider类定义了如何爬取某个(或某些)网站。包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。 换句话说，Spider就是您定义爬取的动作及分析某个网页(或者是有些网页)的地方。

class scrapy.Spider是最基本的类，所有编写的爬虫必须继承这个类。

主要用到的函数及调用顺序为：

init() : 初始化爬虫名字和start_urls列表

start_requests() 调用make_requests_from url():生成Requests对象交给Scrapy下载并返回response

parse():

解析response，并返回Item或Requests（需指定回调函数）。
Item传给Item pipline持久化 ， 而Requests交由Scrapy下载，并由指定的回调函数处理（默认parse())，一直进行循环，直到处理完所有的数据为止。

8、通用爬虫

1、创建项目
scrapy startproject 项目名字

创建爬虫
scrapy genspider -t crawl 爬虫名字 域

rules 规则属性的参数：是一个元阻，可以放多个Rule 对象

创建Rule:
LinkExtractor:设定提取的规则
（allow,deny,allow_dome...）

callback 设置回调函数

follwer 是否跟进

 rules = (
      allow:一般跟一个正则表达式，表示允许的url*********************
      deny:表示一个正则表达式，符合正则表达式的链接，我们不链接，优先级比allow高
      allowed_domains:提取额链接，必须在我设置的域下面
      deny_domains:提取链接时，一定不能提取deny_domains设置的域下
      restrict_xpaths:刚提取连接的时候我们可以定位到耨一些标签，提取标签下符合规则的链接********
      tags:可以指定要提取那些标签
      attrs:;;可以提取哪一属性
  restrict_css:当提取连接时可以使用css语法  **************
  process_links:设置一个函数，根据正则获取的url,可以在回调函数中获取到
  process_request:设置一个函数，可以在这个回调方法中拦截所有根据正则规则提取到的url构建的Request对象
      Rule(LinkExtractor(
      allow=('.*?qwd=&p=\d+',),
      deny=(),
      allowed_domains=(),
      deny_domains=(),
      restrict_xpaths=(),
      tags=(),
      attrs=(),
      restrict_css=()
   ),

2、Scrapy CrawlSpiders介绍和使用
它是Spider的派生类，Spider类的设计原则是只爬取start_url列表中的网页，而CrawlSpider类定义了一些规则Rule来提供跟进链接的方便的机制，从爬取的网页结果中获取链接并继续爬取的工作

rules
CrawlSpider使用rules属性来决定爬虫的爬取规则，并将匹配后的url请求提交给引擎,完成后续的爬取工作。

在rules中包含一个或多个Rule对象，每个Rule对爬取网站的动作定义了某种特定操作，比如提取当前相应内容里的特定链接，是否对提取的链接跟进爬取，对提交的请求设置回调函数等。

主要参数：
allow：满足括号中“正则表达式”的URL会被提取，如果为空，则全部匹配。
deny：满足括号中“正则表达式”的URL一定不提取（优先级高于allow）。
allow_domains：会提取的链接的domains。
deny_domains：一定不会被提取链接的domains。
restrict_xpaths：使用xpath表达式，和allow共同作用过滤链接

注意：设置回调的时候一定不能重写parse方法

2、要活取起始url的响应结果，必须重写parse_start_url

3、在设置Rule对象的时候，如果没有callback回调函数，表示默认跟进
什么时候 会用到用用爬虫？
当提取数据的目标网站的网址很有规律，并且各个模块很清晰，我们就可以使用通用爬虫