1、Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。
2、Scheduler(调度器): 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。
3、Downloader（下载器）：负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理，
3、Spider（爬虫）：它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)，Item Pipeline(管道)：它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方.
4、Downloader Middlewares（下载中间件）：你可以当作是一个可以自定义扩展下载功能的组件。
Spider Middlewares（Spider中间件）：你可以理解为是一个可以自定扩展和操作引擎和Spider中间通信的功能组件（比如进入Spider的Responses;和从Spider出去的Requests）
创建爬虫项目
scrapy startproject jobboleproject
新建爬虫文件
scrapy genspider jobbolejobbole.com
name = 'lvyou'
爬虫文件里的爬虫名字
allowed_domains = ['baidu.com']
允许爬取得域
start_urls = ['https://lvyou.baidu.com/scene/t-all_s-all_a-all_l-all?rn=12&pn=0']
设置起始的url
打开jobboleproject文件下的item.py文件
Item 定义结构化数据字段，用来保存爬取到的数据，有点像Python中的dict，但是提供了一些额外的保护减少错误。
可以通过创建一个 scrapy.Item 类， 并且定义类型为 scrapy.Field的类属性来定义一个Item（可以理解成类似于ORM的映射关系）。
接下来，创建一个JobboleprojectItem 类，和构建item模型（model）
parse(self, response) ：解析的方法，每个初始URL完成下载后将被调用，调用的时候传入从每一个URL传回的Response对象来作为唯一参数，主要作用如下：
负责解析返回的网页数据(response.body)，提取结构化数据(生成item)
生成需要下一页的URL请求
中的pipelines.py为爬虫文件，我们在这里的操作在主要是数据的过滤，保存和上传
Spider类定义了如何爬取某个(或某些)网站。包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。 换句话说，Spider就是您定义爬取的动作及分析某个网页(或者是有些网页)的地方。
class scrapy.Spider是最基本的类，所有编写的爬虫必须继承这个类。
主要用到的函数及调用顺序为：
init() : 初始化爬虫名字和start_urls列表
start_requests() 调用make_requests_from url():生成Requests对象交给Scrapy下载并返回response
parse():
解析response，并返回Item或Requests（需指定回调函数）。
Item传给Item pipline持久化 ， 而Requests交由Scrapy下载，并由指定的回调函数处理（默认parse())，一直进行循环，直到处理完所有的数据为止。
Scrapy CrawlSpiders介绍和使用
它是Spider的派生类，Spider类的设计原则是只爬取start_url列表中的网页，而CrawlSpider类定义了一些规则Rule来提供跟进链接的方便的机制，从爬取的网页结果中获取链接并继续爬取的工作
rules
CrawlSpider使用rules属性来决定爬虫的爬取规则，并将匹配后的url请求提交给引擎,完成后续的爬取工作。
在rules中包含一个或多个Rule对象，每个Rule对爬取网站的动作定义了某种特定操作，比如提取当前相应内容里的特定链接，是否对提取的链接跟进爬取，对提交的请求设置回调函数等。
主要参数：
allow：满足括号中“正则表达式”的URL会被提取，如果为空，则全部匹配。
deny：满足括号中“正则表达式”的URL一定不提取（优先级高于allow）。
allow_domains：会提取的链接的domains。
deny_domains：一定不会被提取链接的domains。
restrict_xpaths：使用xpath表达式，和allow共同作用过滤链接
1、通用爬虫。为全站爬取
创建项目
scrapy startproject 项目名字
创建爬虫
scrapy genspider -t crawl 爬虫名字 域
rules 规则属性的参数：是一个元阻，可以放多个Rule 对象
创建Rule:
LinkExtractor:设定提取的规则
（allow,deny,allow_dome...）
callback 设置回调函数
follwer 是否跟进
rules = ( allow:一般跟一个正则表达式，表示允许的url********************* deny:表示一个正则表达式，符合正则表达式的链接，我们不链接，优先级比allow高 allowed_domains:提取额链接，必须在我设置的域下面 deny_domains:提取链接时，一定不能提取deny_domains设置的域下 restrict_xpaths:刚提取连接的时候我们可以定位到耨一些标签，提取标签下符合规则的链接******** tags:可以指定要提取那些标签 attrs:;;可以提取哪一属性 restrict_css:当提取连接时可以使用css语法 ************** process_links:设置一个函数，根据正则获取的url,可以在回调函数中获取到 process_request:设置一个函数，可以在这个回调方法中拦截所有根据正则规则提取到的url构建的Request对象 Rule(LinkExtractor( allow=('.*?qwd=&p=\d+',), deny=(), allowed_domains=(), deny_domains=(), restrict_xpaths=(), tags=(), attrs=(), restrict_css=() ),