Python 爬虫框架Scrapy

Scrapy的原理


一般,实现一次爬虫需要导入和操作不同的模块,比如,requests、gevent、csv等模块。但是在Scrapy里,许多爬虫需要涉及的功能,在框架里都自动实现了。

Python 爬虫框架Scrapy_第1张图片
Scheduler(调度器)主要负责处理引擎发送过来的requests对象(即网页请求的相关信息集合),会把请求的url以有序的方式排列成队,并等待引擎来提取(功能上类似于gevent库的queue模块)。

Downloader(下载器)则是负责处理引擎发送过来的requests,进行网页爬取,并将返回的response(爬取到的内容)交给引擎。

Spiders(爬虫)主要任务是创建requests对象和接受引擎发送过来的response(Downloader部门爬取到的内容),从中解析并提取出有用的数据。

Item Pipeline(数据管道)只负责存储和处理Spiders部门提取到的有用数据。

Downloader Middlewares(下载中间件)的工作,比如会提前对引擎大boss发送的诸多requests做出处理。

Spider Middlewares(爬虫中间件)则相当于爬虫的秘书,比如会提前接收并处理引擎大boss发送来的response,过滤掉一些重复无用的东西。

在Scrapy里,整个爬虫程序的流程都不需要我们来操心。且程序全都是异步模式,所有的请求或返回的响应都由引擎自动分配处理,即使出现异常,程序也会做异常处理,跳过报错的请求,继续向下执行。

Scrapy的用法


1.安装Scrapy模块

pip install scrapy
#windows
pip3 install scrapy
#mac

2.创建Scrapy项目

打开cmd终端,先跳转到目标目录下,cd 文件夹名,如果想要跳转硬盘,直接输入盘名D:
之后,创建项目scrapy startproject 项目名,回车之后,项目就创建成功了。
项目目录下,spiders文件夹专门用来放置爬虫,items.py用来定义数据,pipelines.py用来处理数据,settings.py来进行各种设置。

3.定义item数据

在scrapy中,会专门定义一个用于记录数据的类,实例化一个对象,利用这个对象来记录数据。每一次,当数据完成记录,它会离开spiders,来到Scrapy Engine(引擎),引擎将它送入Item Pipeline(数据管道)处理。定义这个类的py文件,是items.py。

比如说,获取的数据是出版的书籍信息,我们要爬取的是书名、出版信息和评分,下方代码都参照这个例子:

import scrapy
#导入scrapy
class Item(scrapy.Item):
#定义一个类DoubanItem,它继承自scrapy.Item
    title = scrapy.Field()
    #定义书名的数据属性
    publish = scrapy.Field()
    #定义出版信息的数据属性
    score = scrapy.Field()
    #定义评分的数据属性

4.创建和编辑爬虫文件

在spider文件目录下,创建爬虫文件。

import scrapy
import bs4
from ..items import Item

导入scrapy模块,之后用创建类的方式写爬虫,所创建的类将直接继承scrapy中的scrapy.Spider类。

class Spider(scrapy.Spider):
	name=''
	#name 是定义爬虫的名字,是唯一标识,启动爬虫时,会用到这个名字
	allowed_domains = []
	#定义允许爬虫爬取的网址域名,不需要加https://,如果网址的域名不在整个列表里,会被过滤掉
	#可以限制关联爬取的url,一定在允许的域名下
	start_urls=[]
	#定义起始网址,定义爬虫从哪个网址开始抓取,,allowed_domains的设置对start_urls里的网址没有影响
	def parse(self,response):
	#默认处理response的方法
		html = bs4.BeautifulSoup(response.text,'html.parser')
		data = html.find_all('',class_='')
		#根据页面提取标签,后续可以遍历获取信息
		for i in data:
			item = Item()
			#实例化Item类
			item['title'] = ''
			item['publish'] = ''
			item['score'] = ''
			#提取出信息,并把整个数据放回Item类的属性里
			yield item
			#把获得的item传递给引擎

当数据每一次完成记录,它会离开spider。来到引擎,引擎把它送到数据管道,也就是Item pipeline处理。这里要用到yield,它相当于return,但是它不会结束函数,并且可以多次返回信息。

回调

如果想要在默认处理response的方法里取到另一个需要重新请求的链接,可以在yield语句中,把构造好的requests对象传递给引擎。用scrapy.Requests构造对象,传入请求地址,并通过callback参数设置调用回调方法。

def parse(self,response):
	html = bs4.BeautifulSoup(response.text,'html.parser')
	data = html.find_all('',class_='')
	for i in data:
		real_url = i.find('',class_='')['href']
		yield scrapy.Request(real_url, callback=self.parse_new_func)
def parse_new_func(self,response):
	html = bs4.BeautifulSoup(response.text,'html.parser')
	data = html.find_all('',class_='')
	for i in data:
		tem = Item()
		item['title'] = ''
		item['publish'] = ''
		item['score'] = ''
		yield item

5.修改settngs.py文件

# Crawl responsibly by identifying yourself (and your website) on the user-agent
#USER_AGENT = 'douban (+http://www.yourdomain.com)'

# Obey robots.txt rules
ROBOTSTXT_OBEY = True

请求头在这个文件里修改,把USER_AGENT取消注释,并替换掉内容。
scrapy是遵守robots协议的,如果robots协议禁止爬取的内容,scrapy也会默认不去爬取,所以可以把ROBOTSTXT_OBEY=True改为ROBOTSTXT_OBEY=False,这样就无需遵守robots协议,Scrapy就可以不受限制运行。

# Configure a delay for requests for the same website (default: 0)
# See https://doc.scrapy.org/en/latest/topics/settings.html#download-delay
# See also autothrottle settings and docs
DOWNLOAD_DELAY = 0

DOWNLOAD_DELAY翻译成中文是下载延迟的意思,这行代码可以控制爬虫的速度。如果项目的爬取速度需要调整,可以适当修改速度。

6.存储数据

在Scrapy里,把数据存储成csv文件和Excel文件,也分别有对应的方法。

6.1 存储成csv文件

在settings.py文件里,添加如下代码:

FEED_URI='./storage/data/%(name)s.csv'
#FEED_URI是导出文件的路径。'./storage/data/%(name)s.csv',就是把存储的文件放到与main.py文件同级的storage文件夹的data子文件夹里。
FEED_FORMAT='csv'
#FEED_FORMAT 是导出数据格式,写csv就能得到csv格式。
FEED_EXPORT_ENCODING='ansi'
#FEED_EXPORT_ENCODING 是导出文件编码,ansi是一种在windows上的编码格式,你也可以把它变成utf-8用在mac电脑上。

6.2 存储成Excel文件

第一步,在settings.py文件里设置启用ITEM_PIPELINES,如下:

# Configure item pipelines
# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
     'jobui.pipelines.JobuiPipeline': 300,
}

第二步,编辑pipelines.py文件,引入openpyxl模块来实现存储Excel文件,代码参照如下:

import openpyxl
class BookPipeline(object):
#定义一个BookPipeline类,负责处理item
    def __init__(self):
    #初始化函数 当类实例化时这个方法会自启动
        self.wb = openpyxl.Workbook()
        #创建工作薄
        self.ws = self.wb.active
        #定位活动表
        self.ws.append(['书名','出版信息','评分'])
        #用append函数往表格添加表头
        
    def process_item(self, item, spider):
    #process_item是默认的处理item的方法,就像parse是默认处理response的方法
        line = [item['title'], item['publish'], item['score']]
        #把书名、出版信息和评分都写成列表的形式,赋值给line
        self.ws.append(line)
        #用append函数把书名、出版信息和评分的数据都添加进表格
        return item
        #将item丢回给引擎,如果后面还有这个item需要经过的itempipeline,引擎会自己调度

    def close_spider(self, spider):
    #close_spider是当爬虫结束运行时,这个方法就会执行
        self.wb.save('./book.xlsx')
        #保存文件
        self.wb.close()
        #关闭文件

7.运行Scrapy爬虫

两种方法,一种是在cmd中,跳转到项目的目标文件夹,然后输入:scrapy crawl 爬虫名
另一种,在项目文件的最外层文件夹中,新建一个main.py文件:

from scrapy import cmdline
#导入cmdline模块,可以实现控制终端命令行。
cmdline.execute(['scrapy','crawl','爬虫名'])
#运行scrapy

你可能感兴趣的:(python,爬虫,scrapy)