使用 Scrapy + MongoDB, 下载 + 保存 + 校验 + 更新代理

1.先提供源码

源码地址

2.原因，想法:

1. 其实 github 也有很多类似的工具， 总是觉得没有自己写的用着顺手。
2. 比如，我需要把代理分中外2种，那么迟早要自己来动手做的。

3.下载

1. 这里我找到了4个提供免费代理的网站，其中3个是用 scrapy 写的，另外一个是用 requests 写的。以后还可以添加新的。
2. 全都保存在同一个数据集里面，即 MongDB 的 collections， 以下的数据集指的都是这个。

4.校验

1. 标准 ：响应时间 timeout=1 , 而且 返回结果，与自己真实的 ip 不相等时，那么就是好用的。

def check_status(self, p):
    url = "http://httpbin.org/ip"
    resp = requests.get(url, proxies=p, timeout=1)
    if resp.status_code == 200 and resp.json()["origin"] != self.real_ip:
        print("This is a good one!", p)

2. 用哪种多线程：
   2.1 aiohttp + asyncio 这个组合我试了，不合适。
   2.2 multiprocessing.dummy.Pool ，如果遇到一个线程出问题，整体就退出了，不行。
   2.3 最终我还是选择 下面这种写法:

from concurrent.futures import ThreadPoolExecutor, wait, ALL_COMPLETED

def run(self):
    raw_data = self.db[self.coll_name].find()
    with ThreadPoolExecutor(max_workers=50) as executor:
        future_tasks = [executor.submit(self.check_status, p) for p in raw_data]
        wait(future_tasks, return_when=ALL_COMPLETED)

5.保存 （讲真的， 这里才是我想说的重点）

1. 数据集的名称问题: 如果每次都新建一个数据集，那么每次都要起名字，而且在别处调用的话，更是不方便。
2. 直接修原始数据：使用多线程进行校验的过程中，把劣质的代理删掉，这一步执行是失败的。
3. 综上，我是把有效的代理保存在内存中 ，然后再删掉旧的数据集，并使用旧数据集的名称新建一个数据集。

# self.good = []
self.db.drop_collection(self.coll_name)
self.db[self.coll_name].insert_many(self.good)

4. 代理分中外，思路也是一样的。

6.使用

1. 在自己需要的时候，可以写入:

from pymongo import MongoClient

# 也可以更简洁，写成列表推导式
data = MongoClient('localhost', 27017)['proxies_db']['proxies_coll'].find()
for dic in data:
    print({f'{dic["protocol"].lower()}': f'{dic["protocol"].lower()}://{dic["ip"]}:{dic["port"]}'})

2. 或是在 scrapy 中写一个代理中间件

DOWNLOADER_MIDDLEWARES = {'core_2048.middlewares.ProxyMiddleware': 543,} # stttings.py

from pymongo import MongoClient

class ProxyMiddleware(object):
    def __init__(self):
        self.data = MongoClient('localhost', 27017)['proxies_db']['world'].find()
        self.proxies = [f'{dic["protocol"].lower()}://{dic["ip"]}:{dic["port"]}' for dic in self.data]

    def process_request(self, request, spider):
        proxy = random.choice(self.proxies)
        request.meta['proxy'] = proxy