爬虫代理调研

[TOC]

概述

关于爬虫代理，通常有以下几个问题：

• 怎么选择爬虫代理方案？
• 目前爬虫服务产商众多，怎么选择服务商？
• 如何评估爬虫代理的服务质量？

目前选了几家服务商进行对比：主要有阿里云，阿布云代理，开心代理，快代理，大象代理

爬虫代理考虑的几个核心参数

• ip来源：最好是民用ip， 非机房，非IDC ip
• ip数量
• ip可持续代理的时间
• 代理支持的并发数量：20（考虑到业务稳定性的最低值，如果爬虫分时间段进行爬取，并发数量可以选择更低）
• 稳定性
• 上下文依赖需求（需要较长ip可用时间）

各大代理平台的参数对比

参数	阿布云	开心代理	快代理	大象代理
请求并发数量	最高100并发	10	同一域名下2个并发请求，最高也是2个	未知（通过提取ip需要自己筛选出可用的ip）
稳定性	稳定	稳定	除了私密代理是相对稳定的	渣渣
ip来源	非idc，非机房	adsl拨号，家庭ip	阿里云，腾讯云，以及其他idc产商	全部的ip都是网络上扫来的
ip数量	50万	8万	3000+	未知
ip可持续代理时间	1分钟	2分钟（过期要自己维护管理）	私密代理不超过1分钟，其他套餐的不超过10秒	看运气
api使用方式	使用一个代理地址，阿布云端只能转发，无须频繁更换代理服务器地址和端口号，方便快捷	通过api提取ip列表，筛选	通过api提取ip列表，筛选	通过api提取ip列表，筛选

链接：

• 阿布云代理： https://www.abuyun.com/
• 开心代理： http://www.kxdaili.com/ActiveProxy.html
• 快代理： http://www.kuaidaili.com
• 大象代理： http://www.daxiangdaili.com

资费预算对比

阿里云vps套餐

实例	每台实例价格（元/月）	预算（元/月）
50	68	3400

阿布云套餐

套餐	套餐价格（元/月）	预算（元/月）
动态版/20并发	1719	1719
动态版/30并发	2536	2536
专业版/30并发	787.5	787.5
专业版/50并发	1113.25	1113.25

动态版与专业版的区别是：动态版的每个请求都是不同ip，专业版是每个ip使用一分钟时间。超时后阿布云端自动切换ip不会返回错误

开心代理套餐

套餐	套餐价格（元/月）	预算（元/月）
动态代理包天/10并发	30	1719
动态代理包月/10并发	490	490
动态代理包年/10并发	2450	2450

稳定性测试

主要关键指标

1. 高并发时连接的稳定性
2. 较长周期内（目前测试一个月）的稳定性
3. ip切换时对业务的影响
4. 高并发服务方的带宽是否hold住

高并发时连接的稳定性——测试

进程：4 线程：16 场景：图片下载，测试时间半小时，失败概率个位数

较长周期内（目前测试一个月）的稳定性——测试

之前采购的阿布云专业版20线程（5.24-6.23），已经在爬虫中使用 稳定性 > 阿里云自建的vps

ip 切换对业务的影响

• 每个ip的有效时长，阿布云官网称1分钟，分两种情况
  • 在session有效时长的1分钟内，爬虫是否能完成爬取：爬虫的session场景一般不超过30秒，如果session在有效时长内未完成，爬虫也有重试机制影响不大。
  • ip切换时，如果有连接还未完成，将会连接超时，爬虫必须重试，对业务影响不大

带宽限制

目前测试带宽没遇到问题，网速也很快