（二）爬虫框架(5)——scrapy下载中间件

在写爬虫的时候，经常会遇到一个难题，就是反爬虫。反爬虫策略一般就是检测user-agent，IP等等信息，辨别是机器发送请求还是认为发送请求。如何使我们写的爬虫突破反爬虫策略，从而继续抓取到需要的信息，scrapy的中间件就可以完成这个需求。

首先了解一下如何防止爬虫被反，有以下几个策略：

1.动态的设置user-agent，模拟不同的浏览器信息。
2.禁用cookies(如果不需要登录)，设置COOKIES_ENABLED控制CookiesMiddleware的开启和关闭。
3.设置延迟加载，防止访问过于频繁，设置为2秒以上，设置DOWNLOAD_DELAY = 3
4.使用Google/Baidu Cache，如果百度或者谷歌有待爬取页面的缓存数据，可以通过缓存获取。
5.使用代理IP池，每一次请求都更换IP，模拟不同的用户发送请求。
6.使用Crawlear(专用于爬虫的代理组件)，正确的设置下载中间件之后，所有的requests请求都是通过Crawlear发出的，就不需要使用代理IP了。

---

user-agent 中间件

接下来就用一个豆瓣爬虫的例子，爬一下豆瓣电影排行榜，介绍下载中间件的用法。

class MovieTopSpider(CrawlSpider):
   name = 'movie_top'
   allowed_domains = ['movie.douban.com']
   start_urls = ['https://movie.douban.com/top250?start=0&filter=']

   # 翻页规则，
   pageLink = LinkExtractor(allow=(r"start=\d+&filter="))

   # 定义匹配规则，callback不可以使用parse()
   rules = (
       Rule(pageLink, callback='parse_page', follow=True),
   )

   def parse_page(self, response):
       print(response.request.headers["User-Agent"])
       print(response.url)

直接运行爬虫，发现控制台上什么并没有输出每一页的网址。
原因是没有设置user-agent，我们需要在settings.py设置一下user-agent等信息。

DEFAULT_REQUEST_HEADERS = {
   'User-Agent' : 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
   'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
   'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
}

启动爬虫，发现控制台打印了网址和User-Agent信息。

---

通过上面的这种设置方法只能使用一个user-agent，不能达到动态切换的效果。此时就需要中间件的参与了。
在settings.py中定义User-Agent列表：

USER_AGENTS = [
   "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
   "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",
   "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
   "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",
]

在settings.py的同级目录下创建一个middlewares.py文件，随机选取一个User-Agent，代码如下：

class UserAgentMiddleware(object):
   def process_request(self, request, spider):
       user_agent = random.choice(settings.USER_AGENTS)
       request.headers['User-Agent'] = user_agent

将自定义的useragent中间件加入到settings.py中：

DOWNLOADER_MIDDLEWARES = {
   'scrapy_douban.middlewares.UserAgentMiddleware': 600,
}

启动爬虫，发现控制台上User-Agent信息每一条都是随机的。

---

虽然已经可以随机选取User-Agent，但是settings.py文件中的User-Agent列表只有4条，实际项目里面需要大量的user-agent信息，这么配置代码的可读性很差。这一点可以使用fake-useragent库(需要安装)进行改善。代码如下：

from fake_useragent import UserAgent

class UserAgentMiddleware(object):
   def process_request(self, request, spider):
       location = "fake_useragent_" + fake_useragent.VERSION #本地文件路径
       ua = fake_useragent.UserAgent(use_cache_server=False, path=location) #禁用缓存，使用本地文件
       request.headers['User-Agent'] = ua.random #随便从本地文件中取出一个user-agent

把fake-useragent的Json文件下载到本地，放到项目目录中。(可以把之前配置的user-agent列表删除)
启动爬虫，控制台上随机打印user-agent信息。

---

代理IP proxy 中间件

每一次的request请求都会带着IP地址进行发送，如果目标服务器检测到爬虫，就会把本地的IP封禁。使用代理IP简单理解就是把每次的请求附带着的IP地址进行更改，每一次请求的IP都不容易，目标服务器就封禁IP的概率就小了很多了。(代理IP可以到西刺代理去找，切记使用高匿IP)
scrapy使用代理IP，过程如下：
在settings.py中，创建一个IP_POOLS，里面存放一些可用的IP地址，然后每一次都随机一个，进行访问。

IP_POOL=[
   {"http":"114.225.168.185:53128"},
   {"http":"114.225.168.185:8123"},
   {"http":"182.88.89.19:8123"},
   {"http":"182.34.33.152:53128"},
   {"http":"  121.31.195.239:8123"}
]

在middlewares.py中创建代理中间件：

class MyproxiesSpiderMiddleware(object):       
   def __init__(self,ip=''):          
       self.ip=ip            
   def process_request(self, request, spider):          
       thisip=random.choice(IP_POOL)          
       request.meta["proxy"]="http://"+thisip["http"]

在settings.py文件中设置中间件的配置

DOWNLOADER_MIDDLEWARES = {
   'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 560,
   'scrapy_douban.middlewares.MyproxiesSpiderMiddleware' : 550,
}

启动项目，可以访问到目标网站，获取数据。

---

跟user-agent一样，IP_POOL代理IP池中需要的IP数量很多，而且免费的代理IP，经常是不能用的，在实际的运行环境中，需要使用付费的代理。我使用的是阿布云代理，可以自行注册，购买一条隧道。使用方法很简单。
代码如下：

# 代理IP，阿布云代理
class ABProxyMiddleware(object):
   """ 阿布云ip代理配置 """
   def process_request(self, request, spider):
       request.meta["proxy"] = settings.PROXY_SERVER
       request.headers["Proxy-Authorization"] = settings.PROXY_AUTH

在settings.py文件中设置一下关于代理和中间件的配置

DOWNLOADER_MIDDLEWARES = {
   'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 560,
   'scrapy_douban.middlewares.ABProxyMiddleware' : 550,
}
# 阿布云ip代理配置，包括账号密码
import base64
PROXY_USER = "通行证书"
PROXY_PASS = "通行密钥"
PROXY_HOST = "HTTP隧道服务器地址"
PROXY_PORT = "端口"
# for Python3
PROXY_AUTH = "Basic " + base64.urlsafe_b64encode(bytes((PROXY_USER + ":" + PROXY_PASS), "ascii")).decode("utf8")
PROXY_SERVER = "http://" + PROXY_HOST +  ":" + PROXY_PORT

启动爬虫，可以正常发送请求，获取服务器返回的数据。

---

完整代码