scrapy框架的使用

Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。

Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。

Scheduler(调度器): 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。

Downloader（下载器）：负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理，

Spider（爬虫）：它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)，

Item Pipeline(管道)：它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方.

Downloader Middlewares（下载中间件）：你可以当作是一个可以自定义扩展下载功能的组件。

Spider Middlewares（Spider中间件）：你可以理解为是一个可以自定扩展和操作引擎和Spider中间通信的功能组件（比如进入Spider的Responses;和从Spider出去的Requests）

安装

sudo pip3 install scrapy

新建项目

scrapy startproject 爬虫项目名称

新建爬虫文件

crapy genspider 爬虫文件名称 域名:制作爬虫开始爬取网页

一个项目有四个文件我们一般情况下会进行修改

1.pipeline.py

可以在这里做数据持久化, 如果有多个管道文件,并且有优先级顺序一定要记住return item,否则下一个管道无法接受item

它还要两个可选方法

def open_spider(self,spider):

        可选方法，在爬虫开始执行的时候调用一次

        print(spider.name,'爬虫开启')

    def close_spider(self,spider):

        可选方法,在爬虫结束的时候调用一次

        self.file.close()

        print(spider.name,'爬虫结束')

2.item.py

#自定义字段,为了后面赋值时使用(类似于DJango里面model的作用)

3.spiders.py

即爬虫文件

name

    定义spider名字的字符串。

allowed_domains

    包含了spider允许爬取的域名(domain)的列表，可选。

start_urls

    初始URL元组/列表。当没有制定特定的URL时，spider将从该列表中开始进行爬取。

start_requests(self)

    该方法必须返回一个可迭代对象(iterable)。该对象包含了spider用于爬取（默认实现是使用 start_urls 的url）的第一个Request。

    当spider启动爬取并且未指定start_urls时，该方法被调用。

parse(self, response)

    当请求url返回网页没有指定回调函数时，默认的Request对象回调函数。

4.settings.py

BOT_NAME

(也是项目名称)。使用 startproject 命令创建项目时会被自动赋值。

SPIDER_MODULES = ['ziruproject.spiders'] NEWSPIDER_MODULE = 'ziruproject.spiders'

爬虫的文件路径

USER_AGENT

用户代理，一般设置这个参数用来伪装浏览器请求

ROBOTSTXT_OBEY

是否遵守ROBOT协议，为False时，表示不遵守，

为True时表示遵守（默认为True）

COOKIES_ENABLED

是否要携带cookies，一般情况下，不是必须要携带

cookies的请求，我们将这个参数设置为False，(默认为True)

DEFAULT_REQUEST_HEADERS

默认: 如下

{

'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',

'Accept-Language': 'en',

}

用于Scrapy HTTP请求的默认标头

ITEM_PIPELINES

设置并激活管道文件，为了存储数据使用，

后面的数字表示优先级，数字越小，优先级越高

关于日志信息的设置

LOG_ENABLED

默认: True

是否启用logging。

LOG_FILE

默认: None

logging输出的文件名。如果为None，则使用标准错误输出(standard error)。

Logging使用

Scrapy提供了log功能，可以通过 logging 模块使用。

可以修改配置文件settings.py，任意位置添加下面两行，效果会清爽很多。

LOG_FILE = "TencentSpider.log"

LOG_LEVEL = "INFO"

5.middleware.py

middleware的使用主要是为了自定义一些第三方组件，是爬虫和反爬的重要过程

主要有四种：

1.随机User-Agent

2.自定义随机cookies

3.enium结合使用

4.自定义随机ip池

除了一般的scrapy框架之外还有通用爬虫

通用爬虫和一般爬虫的区别主要是多了一个Rule的规则

他的主要参数是：

LinkExtractor中有：

allow:一般设置一个正则表达式，符合该正则表达式的连接，提取该url（常用）

deny:同样是跟一个正则表达式，符合该正则表达式的连接，不提取该url

（优先级比allow要高）

 allowed_domains：提取的连接，必须在allowed_domains设置的域下

  deny_domains: 提取链接时，一定不能提取deny_domains设置的域下

restrict_xpaths:当提取链接的时候，我们可以使用xpath语法定位到某些标签，提取标签下，

 符合规则的链接　（常用）

tags:可以指定要提取哪些标签

 attrs:可以指定要提取标签的哪些属性

 restrict_css:当提取链接的时候，我们可以使用css语法定位到某些标签，提取标签下，

 符合规则的链接　(常用)

还有：

callback='回调函数名称',

 follow=True | False,  # 表示是否要跟进