前言
随着大型网站反扒机制的增强,更改IP登陆已经成为一种最高效的方式,为此打造一款超强IP池项目,采用最新最快的Python技术——异步(Async )。编写了一个免费的异步爬虫代理池,以 Python asyncio 为基础,充分利用 Python 的异步性能,异步处理比同步处理能提升成百上千倍的效率,速度堪比GO语言。
项目介绍
本项目通过爬虫抓取互联网上免费代理网站的IP,并且进行异步检测是否可用,如果可用就放入数据库。定时对数据库中的代理进行维护,然后通过web api的形式供外部使用。
项目运行环境
项目使用了 sanic,一个异步网络框架。所以建议运行 Python 环境为 Python3.5+,并且 sanic 不支持 Windows 系统,Windows 用户可以考虑使用 Ubuntu on Windows。
项目总体架构
项目主要几大模块分别是爬取模块,存储模块,校验模块,调度模块,接口模块。
- 爬取模块crawler.py
负责爬取代理网站,并将所得到的代理存入到数据库,每个代理的初始化权值为 INIT_SCORE。
- 存储模块database.py
封装了 Redis 操作的一些接口,提供 Redis 连接池。
- 校验模块validator.py
验证代理 IP 是否可用,如果代理可用则权值 +1,最大值为 MAX_SCORE。不可用则权值 -1,直至权值为 0 时将代理从数据库中删除。
- 调度模块scheduler.py
负责调度爬取器和校验器的运行。
- 接口模块webapi.py
使用 sanic 提供 WEB API (服务器提供接口)。
PS:如有需要Python学习资料的小伙伴可以加下方的群去找免费管理员领取
可以免费领取源码、项目实战视频、PDF文件等
![](http://img.e-com-net.com/image/info8/f3a76e882e834a5d81d8ce9cd773b050.jpg)
如何使用
- 安装 Redis
项目数据库使用了 Redis,Redis 是一个开源(BSD 许可)的,内存中的数据结构存储系统,它可以用作数据库、缓存和消息中间件。所以请确保运行环境已经正确安装了 Redis。安装方法请参照官网指南。
- 项目源码
文末点击阅读原文
- 安装依赖
$ pip install -r requirements.txt
使用API获取代理
运行代码后,访问http://127.0.0.1:5000/进入主页,如果显示'Welcome',证明成功启动。
访问http://127.0.0.1:5000/get可以获取一个可用代理。
也可以在程序代码中用相应的语言获取,例如:
import requests from bs4 import BeautifulSoup import lxml def get_proxy(): r = requests.get('http://127.0.0.1:5000/get') proxy = BeautifulSoup(r.text, "lxml").get_text() return proxy
Sanic 性能测试
使用 wrk 进行服务器压力测试。基准测试 30 秒, 使用 12 个线程, 并发 400 个 http 连接。测试 http://127.0.0.1:3289/
$ wrk -t12 -c400 -d30s http://127.0.0.1:3289/ Running 30s test @ http://127.0.0.1:3289/ 12 threads and 400 connections Thread Stats Avg Stdev Max +/- Stdev Latency 34.63ms 12.66ms 96.28ms 58.07% Req/Sec 0.96k 137.29 2.21k 73.29% 342764 requests in 30.10s, 49.69MB read Requests/sec: 11387.89 Transfer/sec: 1.65MB
我们看到了什么?平均每秒钟11387.89个请求,就问你们怕不怕。机器性能更好一下,就是一波DOS攻击了。
实际代理性能测试
- 实测效果
https://taobao.com(测试淘宝)
测试代理:http://localhost:3289/get/20 测试网站:https://taobao.com/ 测试次数: 1000 成功次数: 984 失败次数: 16 成功率: 0.984
https://baidu.com(测试百度)
测试代理:http://localhost:3289/get/20 测试网站:https://baidu.com 测试次数: 1000 成功次数: 975 失败次数: 25 成功率: 0.975
https://zhihu.com(测试知乎)
测试代理:http://localhost:3289/get/20 测试网站:https://zhihu.com 测试次数: 1000 成功次数: 1000 失败次数: 0 成功率: 1.0
可以看到其实性能是非常棒的,成功率极高。
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。
作者:Python程序员