scrapy框架

2018-11-01 20-15-14屏幕截图.png

• 1、Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。
• 2、Scheduler(调度器): 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。
• 3、Downloader（下载器）：负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理，
• 3、Spider（爬虫）：它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)，Item Pipeline(管道)：它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方.
• 4、Downloader Middlewares（下载中间件）：你可以当作是一个可以自定义扩展下载功能的组件。
  Spider Middlewares（Spider中间件）：你可以理解为是一个可以自定扩展和操作引擎和Spider中间通信的功能组件（比如进入Spider的Responses;和从Spider出去的Requests）

*创建爬虫项目

scrapy startproject jobboleproject

• 新建爬虫文件

scrapy genspider jobbole jobbole.com

• name = 'lvyou'

爬虫文件里的爬虫名字

• allowed_domains = ['baidu.com']

允许爬取得域

• start_urls = ['https://lvyou.baidu.com/scene/t-all_s-all_a-all_l-all?rn=12&pn=0']

设置起始的url
打开jobboleproject文件下的item.py文件
Item 定义结构化数据字段，用来保存爬取到的数据，有点像Python中的dict，但是提供了一些额外的保护减少错误。
可以通过创建一个 scrapy.Item 类， 并且定义类型为 scrapy.Field的类属性来定义一个Item（可以理解成类似于ORM的映射关系）。
接下来，创建一个JobboleprojectItem 类，和构建item模型（model）

2018-11-01 20-26-11屏幕截图.png

parse(self, response) ：解析的方法，每个初始URL完成下载后将被调用，调用的时候传入从每一个URL传回的Response对象来作为唯一参数，主要作用如下：
负责解析返回的网页数据(response.body)，提取结构化数据(生成item)
生成需要下一页的URL请求

中的pipelines.py为爬虫文件，我们在这里的操作在主要是数据的过滤，保存和上传

Spider类定义了如何爬取某个(或某些)网站。包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。 换句话说，Spider就是您定义爬取的动作及分析某个网页(或者是有些网页)的地方。

class scrapy.Spider是最基本的类，所有编写的爬虫必须继承这个类。

主要用到的函数及调用顺序为：

init() : 初始化爬虫名字和start_urls列表

start_requests() 调用make_requests_from url():生成Requests对象交给Scrapy下载并返回response

parse():

解析response，并返回Item或Requests（需指定回调函数）。
Item传给Item pipline持久化 ， 而Requests交由Scrapy下载，并由指定的回调函数处理（默认parse())，一直进行循环，直到处理完所有的数据为止。

• Scrapy CrawlSpiders介绍和使用

它是Spider的派生类，Spider类的设计原则是只爬取start_url列表中的网页，而CrawlSpider类定义了一些规则Rule来提供跟进链接的方便的机制，从爬取的网页结果中获取链接并继续爬取的工作

rules
CrawlSpider使用rules属性来决定爬虫的爬取规则，并将匹配后的url请求提交给引擎,完成后续的爬取工作。

在rules中包含一个或多个Rule对象，每个Rule对爬取网站的动作定义了某种特定操作，比如提取当前相应内容里的特定链接，是否对提取的链接跟进爬取，对提交的请求设置回调函数等。

• 主要参数：

allow：满足括号中“正则表达式”的URL会被提取，如果为空，则全部匹配。
deny：满足括号中“正则表达式”的URL一定不提取（优先级高于allow）。
allow_domains：会提取的链接的domains。
deny_domains：一定不会被提取链接的domains。
restrict_xpaths：使用xpath表达式，和allow共同作用过滤链接

1、通用爬虫。为全站爬取

创建项目
scrapy startproject 项目名字

创建爬虫
scrapy genspider -t crawl 爬虫名字 域

rules 规则属性的参数：是一个元阻，可以放多个Rule 对象

创建Rule:
LinkExtractor:设定提取的规则
（allow,deny,allow_dome...）

callback 设置回调函数

follwer 是否跟进

 rules = (
      allow:一般跟一个正则表达式，表示允许的url*********************
      deny:表示一个正则表达式，符合正则表达式的链接，我们不链接，优先级比allow高
      allowed_domains:提取额链接，必须在我设置的域下面
      deny_domains:提取链接时，一定不能提取deny_domains设置的域下
      restrict_xpaths:刚提取连接的时候我们可以定位到耨一些标签，提取标签下符合规则的链接********
      tags:可以指定要提取那些标签
      attrs:;;可以提取哪一属性
  restrict_css:当提取连接时可以使用css语法  **************
  process_links:设置一个函数，根据正则获取的url,可以在回调函数中获取到
  process_request:设置一个函数，可以在这个回调方法中拦截所有根据正则规则提取到的url构建的Request对象
      Rule(LinkExtractor(
      allow=('.*?qwd=&p=\d+',),
      deny=(),
      allowed_domains=(),
      deny_domains=(),
      restrict_xpaths=(),
      tags=(),
      attrs=(),
      restrict_css=()
   ),

注意：设置回调的时候一定不能重写parse方法
2、要活取起始url的响应结果，必须重写parse_start_url
3、在设置Rule对象的时候，如果没有callback回调函数，表示默认跟进
什么时候 会用到用用爬虫？
当提取数据的目标网站的网址很有规律，并且各个模块很清晰，我们就可以使用通用爬虫