写爬虫时经常需要用到一些海外IP才能采集国外网络数据,比如Amazon/ebay等,就不得不采用一些海外ip了。很难找,踩了很多坑,将收集到的一些好用IP分享给大家。Talk is cheap,Show me your code.直接上干货~
背景:Rola-ip是美国一家较出名的新秀代理IP品牌,跟许多科技企业都有合作,如FB/Youtube等,服务一直稳定。主打海外住宅IP,IP纯净度不错,速度也不错,适合针对IP风控高的系统。
优点:【90,000,000+ IPs】【接入简单】【海外家庭IP】【210+国家】【HTTP/HTTPS/Socks5】【系统稳定】
1.Ping:python批量调用过,平均ip ping<200ms,算相当不错的速度了
2.支持IP时效: 任意时效,自由切换IP。这点很符合程序员思维~
3.IP可用率:98%;批量调用淘宝检测IP接口(http://ip.taobao.com) 10000个IP,可用ip达到9875个
4.接入方式:很简单。HTTP接口/Android/IOS/Windows/Linux都有支持
缺点:【价格偏高】【机房IP不多,主打家庭IP】【没有4G IP】
作者:爬虫小王子
链接:https://zhuanlan.zhihu.com/p/121077900
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
二.Luminati
网址:www.luminati.com
背景:Luminati是以色列一家出名的代理IP品牌,IP覆盖很全,包括家庭IP/服务器IP/4G IP。后来据说被英国一家公司收购。
优点:【30,000,000 +IPs】【海外家庭IP】【服务器IP】【4G IP】【自研代理软件】【知名度高有保障】
1.Ping:python批量调用,平均ip ping<200ms,速度也不错
2.支持IP时效:5min左右,通过session更换ip,很灵活
3.IP可用率:98%;批量调用淘宝检测IP接口(http://ip.taobao.com) 10000个IP,可用ip达到9798个
4.接入方式:较复杂,需代码接入。
缺点:【价格高】【接入复杂】【不支持socks5协议】【官网偶尔打不开】
三.Sockshub
网址:http://sockshub.net
背景:Sockshub是俄罗斯一家独秀代理IP品牌,据说是很多黑客网上扫描来的ip,所以ip可用性不能得到持续保障。目前主要针对欧洲,俄罗斯,美国IP。其他国家比如日本,意大利,德国还有少量IP。
优点:【6,000,000 +IPs】【价格便宜】【家庭+服务器IP混合】【端口全部放开】【HTTP/HTTPS/Socks5】
1.Ping:python批量调用,平均ip ping<900ms,速度一般
2.支持IP时效:1-20min不等,看运气断开
3.IP可用率:75+%;批量调用淘宝检测IP接口(http://ip.taobao.com) 10000个IP,可用ip到7441个
4.接入方式:HTTP接口不断调用即可
缺点:【IP质量不能保障】【支持国家少】【IP时效不能保障】
四.Storm proxies
网址:http://stormproxies.com
背景:Storm是美国代理IP品牌。网站针对性强,主要针对不同业务分配不同IP。主要是领英、脸书、推特、INS、约会网站、订票网站等,按照不同的用途购买不同的代理,比如你要用于Facebook的,你就跟客服说买Facebook的代理,这样运作起来会比较有针对性;起订量低,适合对代理个数需求量小的受众。
优点:【10,000,000 +IPs】【业务区分】【家庭+服务器IP混合】【按端口卖】
1.Ping:python批量1000个IP调用,平均ip ping<800ms,速度不快不慢
2.支持IP时效:1个月
3.IP可用率:85+%;批量调用淘宝检测IP接口(http://ip.taobao.com) 10000个IP,可用ip到8633个
4.接入方式:IP:Port
缺点:【IP较少】【支持国家少】【切换IP不灵活】
五.Instant proxies
网址:https://instantproxies.com
背景:2014年创立的品牌。网站可以直接进行在线测试,只要选择你要的包,填写你使用目的,输入你的ip即可。特点:ip授权;月付;10个代理起卖,适合代理个数需求量较小的受众。优点:系统完善,价格实惠,高匿名
优点:【500,000 +IPs】【可小批量购买】【家庭+服务器IP混合】【按IP个数卖】
1.Ping:python批量1000个IP调用,平均ip ping<800ms,速度不快不慢
2.支持IP时效:自由控制
3.IP可用率:85+%;批量调用淘宝检测IP接口(http://ip.taobao.com) 10000个IP,可用ip到8477个
4.接入方式:IP:Port
缺点:【IP较少】【支持国家少】【不支持socks5协议】
六.Porxy6
网址:https://proxy6.net
背景:也是老毛子的产品。支持10几个国家的代理。既支持账户密码授权,也支持ip授权;有IPv4和IPv6,速度分别是10M/s和30M/s;支持HTTP/HTTPS和socks5;价格便宜;可日付(最少3天),一天之内如果是代理本身的问题导致无法使用的话可以申请退款;有中国地区的代理。
优点:【便宜】【1,000,000 +IPs】【主打长效IP】【可小批量购买】
1.Ping:python批量1000个IP调用,平均ip ping<1500ms,速度有点慢
2.支持IP时效:7天,1个月
3.IP可用率:65+%;批量调用淘宝检测IP接口(http://ip.taobao.com) 10000个IP,可用ip到6275个
4.接入方式:IP:Port
缺点:【IP稳定性一般】【支持国家少】【不支持socks5协议】
七.Newipnow
网址:http://www.newipnow.com
背景:2010年开始创建的老牌子,网站做得很简介,但是代理质量却是极好的。特点:ip授权,按代理个数出售,按月买,适合代理数量需求小的受众。
优点:【有免费IP】【500,000 +IPs】【价格便宜】【3天退款】
1.Ping:python批量1000个IP调用,平均ip ping<1200ms,速度不快不慢
2.支持IP时效:看天吃饭(估计也是扫面的IP)
3.IP可用率:50+%;批量调用淘宝检测IP接口(http://ip.taobao.com) 10000个IP,可用ip到4798个
4.接入方式:IP:Port
缺点:【IP稳定性一般】【IP时效看天吃饭】【不支持socks5协议】
八.microleaves
网址:http://microleaves.com
背景:microleaves代理,API授权,按代理个数收费,每个最低12.5刀,平时也有优惠。适合小需求受众购买。支持HTTP(S)和SOCKS4/5协议。跟storm proxies 不同,microleaves接受二级代理,但前者是严禁客户把账号转手卖出去的。
Python使用代理代码:
beautifulsoup是个很好用解析html的模块
import requests
from bs4 import BeautifulSoup
header={‘User-Agent’:‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36’}
proxies = {‘http’: ‘代理服务器IP:端口’,
‘https’: ‘代理服务器IP:端口’
}
url=“http://www.overlove.xin/html/”
header={‘User-Agent’:‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36’}
req=requests.get(url,headers=header,proxies=proxies,timeout=5)
html=req.text
soup=BeautifulSoup(html,‘lxml’)
print(soup.text)
总结:
还有很多很多很多国外的代理ip供应商,有免费的,也有付费的。当然,免费的不一定都是好的,付费的在选择的时候也要擦亮眼睛,毕竟这不像在淘宝买东西,可以货到再确定付款。
当然,以上推荐仅供参考,具体自己适合哪个产品,还需要网友自己去测试,同时提醒,我国是不允许跨境联网的,合理文明上网~
作者:爬虫小王子
链接:https://zhuanlan.zhihu.com/p/121077900
来源:知乎