Scheduler(调度器)主要负责处理引擎发送过来的requests对象(即网页请求的相关信息集合),会把请求的url以有序的方式排列成队,并等待引擎来提取(功能上类似于gevent库的queue模块)。
Downloader(下载器)则是负责处理引擎发送过来的requests,进行网页爬取,并将返回的response(爬取到的内容)交给引擎。
Spiders(爬虫)主要任务是创建requests对象和接受引擎发送过来的response(Downloader部门爬取到的内容),从中解析并提取出有用的数据。
Item Pipeline(数据管道)只负责存储和处理Spiders部门提取到的有用数据。
Downloader Middlewares(下载中间件)的工作,比如会提前对引擎大boss发送的诸多requests做出处理。
Spider Middlewares(爬虫中间件)则相当于爬虫的秘书,比如会提前接收并处理引擎大boss发送来的response,过滤掉一些重复无用的东西。
在Scrapy里,整个爬虫程序的流程都不需要我们来操心。且程序全都是异步模式,所有的请求或返回的响应都由引擎自动分配处理,即使出现异常,程序也会做异常处理,跳过报错的请求,继续向下执行。
pip install scrapy
#windows
pip3 install scrapy
#mac
2.创建Scrapy项目
打开cmd终端,先跳转到目标目录下,cd 文件夹名
,如果想要跳转硬盘,直接输入盘名D:
。
之后,创建项目scrapy startproject 项目名
,回车之后,项目就创建成功了。
项目目录下,spiders文件夹专门用来放置爬虫,items.py用来定义数据,pipelines.py用来处理数据,settings.py来进行各种设置。
3.定义item数据
在scrapy中,会专门定义一个用于记录数据的类,实例化一个对象,利用这个对象来记录数据。每一次,当数据完成记录,它会离开spiders,来到Scrapy Engine(引擎),引擎将它送入Item Pipeline(数据管道)处理。定义这个类的py文件,是items.py。
比如说,获取的数据是出版的书籍信息,我们要爬取的是书名、出版信息和评分,下方代码都参照这个例子:
import scrapy
#导入scrapy
class Item(scrapy.Item):
#定义一个类DoubanItem,它继承自scrapy.Item
title = scrapy.Field()
#定义书名的数据属性
publish = scrapy.Field()
#定义出版信息的数据属性
score = scrapy.Field()
#定义评分的数据属性
4.创建和编辑爬虫文件
在spider文件目录下,创建爬虫文件。
import scrapy
import bs4
from ..items import Item
导入scrapy模块,之后用创建类的方式写爬虫,所创建的类将直接继承scrapy中的scrapy.Spider类。
class Spider(scrapy.Spider):
name=''
#name 是定义爬虫的名字,是唯一标识,启动爬虫时,会用到这个名字
allowed_domains = []
#定义允许爬虫爬取的网址域名,不需要加https://,如果网址的域名不在整个列表里,会被过滤掉
#可以限制关联爬取的url,一定在允许的域名下
start_urls=[]
#定义起始网址,定义爬虫从哪个网址开始抓取,,allowed_domains的设置对start_urls里的网址没有影响
def parse(self,response):
#默认处理response的方法
html = bs4.BeautifulSoup(response.text,'html.parser')
data = html.find_all('',class_='')
#根据页面提取标签,后续可以遍历获取信息
for i in data:
item = Item()
#实例化Item类
item['title'] = ''
item['publish'] = ''
item['score'] = ''
#提取出信息,并把整个数据放回Item类的属性里
yield item
#把获得的item传递给引擎
当数据每一次完成记录,它会离开spider。来到引擎,引擎把它送到数据管道,也就是Item pipeline处理。这里要用到yield,它相当于return,但是它不会结束函数,并且可以多次返回信息。
回调
如果想要在默认处理response的方法里取到另一个需要重新请求的链接,可以在yield语句中,把构造好的requests对象传递给引擎。用scrapy.Requests构造对象,传入请求地址,并通过callback参数设置调用回调方法。
def parse(self,response):
html = bs4.BeautifulSoup(response.text,'html.parser')
data = html.find_all('',class_='')
for i in data:
real_url = i.find('',class_='')['href']
yield scrapy.Request(real_url, callback=self.parse_new_func)
def parse_new_func(self,response):
html = bs4.BeautifulSoup(response.text,'html.parser')
data = html.find_all('',class_='')
for i in data:
tem = Item()
item['title'] = ''
item['publish'] = ''
item['score'] = ''
yield item
5.修改settngs.py文件
# Crawl responsibly by identifying yourself (and your website) on the user-agent
#USER_AGENT = 'douban (+http://www.yourdomain.com)'
# Obey robots.txt rules
ROBOTSTXT_OBEY = True
请求头在这个文件里修改,把USER_AGENT取消注释,并替换掉内容。
scrapy是遵守robots协议的,如果robots协议禁止爬取的内容,scrapy也会默认不去爬取,所以可以把ROBOTSTXT_OBEY=True
改为ROBOTSTXT_OBEY=False
,这样就无需遵守robots协议,Scrapy就可以不受限制运行。
# Configure a delay for requests for the same website (default: 0)
# See https://doc.scrapy.org/en/latest/topics/settings.html#download-delay
# See also autothrottle settings and docs
DOWNLOAD_DELAY = 0
DOWNLOAD_DELAY翻译成中文是下载延迟的意思,这行代码可以控制爬虫的速度。如果项目的爬取速度需要调整,可以适当修改速度。
6.存储数据
在Scrapy里,把数据存储成csv文件和Excel文件,也分别有对应的方法。
6.1 存储成csv文件
在settings.py文件里,添加如下代码:
FEED_URI='./storage/data/%(name)s.csv'
#FEED_URI是导出文件的路径。'./storage/data/%(name)s.csv',就是把存储的文件放到与main.py文件同级的storage文件夹的data子文件夹里。
FEED_FORMAT='csv'
#FEED_FORMAT 是导出数据格式,写csv就能得到csv格式。
FEED_EXPORT_ENCODING='ansi'
#FEED_EXPORT_ENCODING 是导出文件编码,ansi是一种在windows上的编码格式,你也可以把它变成utf-8用在mac电脑上。
6.2 存储成Excel文件
第一步,在settings.py文件里设置启用ITEM_PIPELINES,如下:
# Configure item pipelines
# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
'jobui.pipelines.JobuiPipeline': 300,
}
第二步,编辑pipelines.py文件,引入openpyxl模块来实现存储Excel文件,代码参照如下:
import openpyxl
class BookPipeline(object):
#定义一个BookPipeline类,负责处理item
def __init__(self):
#初始化函数 当类实例化时这个方法会自启动
self.wb = openpyxl.Workbook()
#创建工作薄
self.ws = self.wb.active
#定位活动表
self.ws.append(['书名','出版信息','评分'])
#用append函数往表格添加表头
def process_item(self, item, spider):
#process_item是默认的处理item的方法,就像parse是默认处理response的方法
line = [item['title'], item['publish'], item['score']]
#把书名、出版信息和评分都写成列表的形式,赋值给line
self.ws.append(line)
#用append函数把书名、出版信息和评分的数据都添加进表格
return item
#将item丢回给引擎,如果后面还有这个item需要经过的itempipeline,引擎会自己调度
def close_spider(self, spider):
#close_spider是当爬虫结束运行时,这个方法就会执行
self.wb.save('./book.xlsx')
#保存文件
self.wb.close()
#关闭文件
7.运行Scrapy爬虫
两种方法,一种是在cmd中,跳转到项目的目标文件夹,然后输入:scrapy crawl 爬虫名
。
另一种,在项目文件的最外层文件夹中,新建一个main.py文件:
from scrapy import cmdline
#导入cmdline模块,可以实现控制终端命令行。
cmdline.execute(['scrapy','crawl','爬虫名'])
#运行scrapy