Python 爬虫框架Scrapy

Scheduler(调度器)主要负责处理引擎发送过来的requests对象（即网页请求的相关信息集合），会把请求的url以有序的方式排列成队，并等待引擎来提取（功能上类似于gevent库的queue模块）。

Downloader（下载器）则是负责处理引擎发送过来的requests，进行网页爬取，并将返回的response（爬取到的内容）交给引擎。

Spiders(爬虫)主要任务是创建requests对象和接受引擎发送过来的response（Downloader部门爬取到的内容），从中解析并提取出有用的数据。

Item Pipeline（数据管道）只负责存储和处理Spiders部门提取到的有用数据。

Downloader Middlewares（下载中间件）的工作，比如会提前对引擎大boss发送的诸多requests做出处理。

Spider Middlewares（爬虫中间件）则相当于爬虫的秘书，比如会提前接收并处理引擎大boss发送来的response，过滤掉一些重复无用的东西。

在Scrapy里，整个爬虫程序的流程都不需要我们来操心。且程序全都是异步模式，所有的请求或返回的响应都由引擎自动分配处理，即使出现异常，程序也会做异常处理，跳过报错的请求，继续向下执行。

pip install scrapy
#windows
pip3 install scrapy
#mac

2.创建Scrapy项目

打开cmd终端，先跳转到目标目录下，cd 文件夹名，如果想要跳转硬盘，直接输入盘名D:。
之后，创建项目scrapy startproject 项目名,回车之后，项目就创建成功了。
项目目录下，spiders文件夹专门用来放置爬虫，items.py用来定义数据，pipelines.py用来处理数据，settings.py来进行各种设置。

3.定义item数据

在scrapy中，会专门定义一个用于记录数据的类，实例化一个对象，利用这个对象来记录数据。每一次，当数据完成记录，它会离开spiders，来到Scrapy Engine（引擎），引擎将它送入Item Pipeline（数据管道）处理。定义这个类的py文件，是items.py。

比如说，获取的数据是出版的书籍信息，我们要爬取的是书名、出版信息和评分，下方代码都参照这个例子：

import scrapy
#导入scrapy
class Item(scrapy.Item):
#定义一个类DoubanItem，它继承自scrapy.Item
    title = scrapy.Field()
    #定义书名的数据属性
    publish = scrapy.Field()
    #定义出版信息的数据属性
    score = scrapy.Field()
    #定义评分的数据属性

4.创建和编辑爬虫文件

在spider文件目录下，创建爬虫文件。

import scrapy
import bs4
from ..items import Item

导入scrapy模块，之后用创建类的方式写爬虫，所创建的类将直接继承scrapy中的scrapy.Spider类。

class Spider(scrapy.Spider):
	name=''
	#name 是定义爬虫的名字，是唯一标识，启动爬虫时，会用到这个名字
	allowed_domains = []
	#定义允许爬虫爬取的网址域名，不需要加https://，如果网址的域名不在整个列表里，会被过滤掉
	#可以限制关联爬取的url，一定在允许的域名下
	start_urls=[]
	#定义起始网址，定义爬虫从哪个网址开始抓取，，allowed_domains的设置对start_urls里的网址没有影响
	def parse(self,response):
	#默认处理response的方法
		html = bs4.BeautifulSoup(response.text,'html.parser')
		data = html.find_all('',class_='')
		#根据页面提取标签，后续可以遍历获取信息
		for i in data:
			item = Item()
			#实例化Item类
			item['title'] = ''
			item['publish'] = ''
			item['score'] = ''
			#提取出信息，并把整个数据放回Item类的属性里
			yield item
			#把获得的item传递给引擎

当数据每一次完成记录，它会离开spider。来到引擎，引擎把它送到数据管道，也就是Item pipeline处理。这里要用到yield，它相当于return，但是它不会结束函数，并且可以多次返回信息。

回调

如果想要在默认处理response的方法里取到另一个需要重新请求的链接，可以在yield语句中，把构造好的requests对象传递给引擎。用scrapy.Requests构造对象，传入请求地址，并通过callback参数设置调用回调方法。

def parse(self,response):
	html = bs4.BeautifulSoup(response.text,'html.parser')
	data = html.find_all('',class_='')
	for i in data:
		real_url = i.find('',class_='')['href']
		yield scrapy.Request(real_url, callback=self.parse_new_func)
def parse_new_func(self,response):
	html = bs4.BeautifulSoup(response.text,'html.parser')
	data = html.find_all('',class_='')
	for i in data:
		tem = Item()
		item['title'] = ''
		item['publish'] = ''
		item['score'] = ''
		yield item

5.修改settngs.py文件

# Crawl responsibly by identifying yourself (and your website) on the user-agent
#USER_AGENT = 'douban (+http://www.yourdomain.com)'

# Obey robots.txt rules
ROBOTSTXT_OBEY = True

请求头在这个文件里修改，把USER_AGENT取消注释，并替换掉内容。
scrapy是遵守robots协议的，如果robots协议禁止爬取的内容，scrapy也会默认不去爬取，所以可以把ROBOTSTXT_OBEY=True改为ROBOTSTXT_OBEY=False，这样就无需遵守robots协议，Scrapy就可以不受限制运行。

# Configure a delay for requests for the same website (default: 0)
# See https://doc.scrapy.org/en/latest/topics/settings.html#download-delay
# See also autothrottle settings and docs
DOWNLOAD_DELAY = 0

DOWNLOAD_DELAY翻译成中文是下载延迟的意思，这行代码可以控制爬虫的速度。如果项目的爬取速度需要调整，可以适当修改速度。

6.存储数据

在Scrapy里,把数据存储成csv文件和Excel文件，也分别有对应的方法。

6.1 存储成csv文件

在settings.py文件里，添加如下代码：

FEED_URI='./storage/data/%(name)s.csv'
#FEED_URI是导出文件的路径。'./storage/data/%(name)s.csv'，就是把存储的文件放到与main.py文件同级的storage文件夹的data子文件夹里。
FEED_FORMAT='csv'
#FEED_FORMAT 是导出数据格式，写csv就能得到csv格式。
FEED_EXPORT_ENCODING='ansi'
#FEED_EXPORT_ENCODING 是导出文件编码，ansi是一种在windows上的编码格式，你也可以把它变成utf-8用在mac电脑上。

6.2 存储成Excel文件

第一步，在settings.py文件里设置启用ITEM_PIPELINES，如下：

# Configure item pipelines
# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
     'jobui.pipelines.JobuiPipeline': 300,
}

第二步，编辑pipelines.py文件，引入openpyxl模块来实现存储Excel文件，代码参照如下：

import openpyxl
class BookPipeline(object):
#定义一个BookPipeline类，负责处理item
    def __init__(self):
    #初始化函数 当类实例化时这个方法会自启动
        self.wb = openpyxl.Workbook()
        #创建工作薄
        self.ws = self.wb.active
        #定位活动表
        self.ws.append(['书名','出版信息','评分'])
        #用append函数往表格添加表头
        
    def process_item(self, item, spider):
    #process_item是默认的处理item的方法，就像parse是默认处理response的方法
        line = [item['title'], item['publish'], item['score']]
        #把书名、出版信息和评分都写成列表的形式，赋值给line
        self.ws.append(line)
        #用append函数把书名、出版信息和评分的数据都添加进表格
        return item
        #将item丢回给引擎，如果后面还有这个item需要经过的itempipeline，引擎会自己调度

    def close_spider(self, spider):
    #close_spider是当爬虫结束运行时，这个方法就会执行
        self.wb.save('./book.xlsx')
        #保存文件
        self.wb.close()
        #关闭文件

7.运行Scrapy爬虫

两种方法，一种是在cmd中，跳转到项目的目标文件夹，然后输入：scrapy crawl 爬虫名。
另一种，在项目文件的最外层文件夹中，新建一个main.py文件：

from scrapy import cmdline
#导入cmdline模块,可以实现控制终端命令行。
cmdline.execute(['scrapy','crawl','爬虫名'])
#运行scrapy