python3的爬虫笔记18——Download Middleware中的用法

Download Middleware（下载中间件）

Download Middleware是Scrapy的请求/响应处理的钩子框架。它是一个轻量级的低级系统，用于全局改变Scrapy的请求和响应。常用来添加代理，添加cookie，失败重新发起请求等等。

激活Download Middleware

要激活Download Middleware，请在settings.py中激活 DOWNLOADER_MIDDLEWARES设置，该设置是一个dict，其键是中间件类路径，其值是中间件命令。

这是一个例子：

DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.CustomDownloaderMiddleware': 543,
}

在之前的代码运行时，我们在日志可以看到很多downloadermiddlewares默认被配置启动，这些是通过DOWNLOADER_MIDDLEWARES_BASE配置的。

2019-04-07 15:28:48 [scrapy.middleware] INFO: Enabled downloader middlewares:
['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware',
 'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',
 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',
 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',
 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',
 'scrapy.downloadermiddlewares.retry.RetryMiddleware',
 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',
 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',
 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',
 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',
 'scrapy.downloadermiddlewares.stats.DownloaderStats']
2019-04-07 15:28:48 [scrapy.middleware] INFO: Enabled spider middlewares:
['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',
 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',
 'scrapy.spidermiddlewares.referer.RefererMiddleware',
 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',
 'scrapy.spidermiddlewares.depth.DepthMiddleware']

如果要禁用内置中间件DOWNLOADER_MIDDLEWARES_BASE默认定义和启用的中间件，则必须在项目的DOWNLOADER_MIDDLEWARES设置中定义它为None。例如，如果要禁用用户代理中间件：

DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.CustomDownloaderMiddleware': 543,
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
}

编写自己的下载中间件

每个中间件组件都是一个Python类，它定义了以下一种或多种方法：

1、process_request（request, spider）
对于通过Download Middleware的每个请求，都会调用此方法。

process_request()应该：返回None，返回一个 Response对象，返回一个Request对象，或者抛出IgnoreRequest异常。

如果它返回None，Scrapy将继续处理此请求，执行所有其他中间件，直到最后。这个对整个框架没什么影响。

如果它返回一个Response对象，Scrapy将不再调用其他process_request()或process_exception()方法。在每次Response时，已安装的中间件的process_response()方法都会被调用。

如果它返回一个Request对象，Scrapy将停止调用process_request方法并重新安排返回的请求。从而循环往复地调度Request。

如果它引发IgnoreRequest异常，已安装的下载中间件的process_exception()方法将被调用。如果它们都不处理异常，则调用request()(Request.errback)中的errback函数。如果没有代码处理引发的异常，则会忽略它并且不会记录。

参数：

request（Request对象） - 正在处理的请求
spider（Spider对象） - 此请求所针对的蜘蛛

2、process_response (request，response，spider)

process_response()应该：返回一个Response对象，返回一个Request对象或抛出IgnoreRequest异常。

如果它返回 Response，将继续处理下一个中间件的process_response()。也就是对其他中间件没影响。

如果它返回一个Request对象，就不会调用process_response()，而是将process_request()重新加入到调度队列。

参数：

request（Request对象） - 发起响应的请求
response（Response对象） - 正在处理的响应
spider（Spider对象） - 此响应所针对的蜘蛛

3、process_exception(requset, exception, spider)

process_exception()应该返回：要么None是Response对象，要么是Request对象。

如果它返回None，Scrapy将继续处理此异常，执行任何其他已安装中间件的process_exception()方法，直到没有剩下中间件并且默认异常处理开始。

如果它返回一个Response对象，process_response()则启动已安装的中间件的方法链，并且Scrapy不会调用任何其他process_exception()中间件方法。

如果它返回一个Request对象，则重新安排返回的请求以便将来下载。这会停止执行process_exception()中间件的方法，就像返回响应一样。这个用于失败重复调用时很有用。

参数：

request（是一个Request对象） - 生成异常的请求
exception（一个Exception对象） - 引发的异常
spider（Spider对象） - 此请求所针对的蜘蛛

案例

1、通过process_request()设置代理

1、新建一个访问谷歌的爬虫程序，正常来说谷歌是没法访问的

python3的爬虫笔记18——Download Middleware中的用法_第1张图片

2、通过process_request()设置代理
在middlewares.py中添加以下类，这里我本地有个1080端口的代理。

import logging

class ProxyMiddleware(object):

    logger = logging.getLogger(__name__)

    def process_request(self, request, spider):
        self.logger.debug('Using Proxy')
        request.meta['proxy'] = 'http://127.0.0.1:1080'
        return None  #可以省略

3、激活配置
在settings.py修改设置：

# Obey robots.txt rules
ROBOTSTXT_OBEY = False

# Override the default request headers:
DEFAULT_REQUEST_HEADERS = {
  'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36',
  'Accept-Language': 'en',
}

# Enable or disable downloader middlewares
# See http://scrapy.readthedocs.org/en/latest/topics/downloader-middleware.html
DOWNLOADER_MIDDLEWARES = {
   'google.middlewares.ProxyMiddleware': 543,
}

这里将ROBOTSTXT_OBEY设置为False的原因见：https://blog.csdn.net/zzk1995/article/details/51628205

4、运行结果
在命令行中运行scrapy crawl mygoogle
返回200状态码成功

python3的爬虫笔记18——Download Middleware中的用法_第2张图片

2、改写Response

1、通过process_response()修改状态码，其余配置和例子1一样

import logging

class ProxyMiddleware(object):

    logger = logging.getLogger(__name__)

    def process_request(self, request, spider):
        self.logger.debug('Using Proxy')
        request.meta['proxy'] = 'http://127.0.0.1:1080'
        return None

    def process_response(self, request, response, spider):
        response.status = 201
        return response

2、运行结果
可以看到状态码发生了改变

python3的爬虫笔记18——Download Middleware中的用法_第3张图片

3、爬取失败后重试

其余配置和上述例子相同
1、自定义request函数，并且定义最大等待时长10s

import scrapy

class MygoogleSpider(scrapy.Spider):
    name = "mygoogle"
    allowed_domains = ["www.google.com"]
    start_urls = ['http://www.google.com/']

    def make_requests_from_url(self, url):
        self.logger.debug('Try First Time')
        return scrapy.Request(url=url, meta={'downlord_timeout': 10}, callback=self.parse, dont_filter=True)

    def parse(self, response):
        pass

2、关闭失败重连接，否则要等待很久
在settings.py中修改

# Enable or disable downloader middlewares
# See http://scrapy.readthedocs.org/en/latest/topics/downloader-middleware.html
DOWNLOADER_MIDDLEWARES = {
   'google.middlewares.ProxyMiddleware': 543,
    'scrapy.downloadermiddlewares.retry.RetryMiddleware': None,
}

3、添加失败后更换代理重连

import logging

class ProxyMiddleware(object):

    logger = logging.getLogger(__name__)

    # def process_request(self, request, spider):
    #     self.logger.debug('Using Proxy')
    #     request.meta['proxy'] = 'http://127.0.0.1:1080'
    #     return None
    #
    # def process_response(self, request, response, spider):
    #     response.status = 201
    #     return response

    def process_exception(self, request, exception, spider):
        self.logger.debug('Get Exception')
        self.logger.debug('Try Second Time')
        request.meta['proxy'] = 'http://127.0.0.1:1080'
        return request

4、运行结果

python3的爬虫笔记18——Download Middleware中的用法_第4张图片

参考：https://docs.scrapy.org/en/1.3/topics/downloader-middleware.html