HTTP代理随着互联网技术的发展,已经被人熟知。从产品细分来看,HTTP代理分为:动态HTTP代理,静态HTTP代理,和隧道代理,这当中,隧道代理引起使用方式便捷,更受企业和个人开发者喜爱。今天,我们就为新手开发者来科普科普,隧道代理是什么,我们在使用的时候又该如何设置。
隧道代理技术,是建立在高性能主机之上的、可以通过云端实现HTTP代理的轻松切换。这项技术将用户的请求传送至各种不同的HTTP代理服务器,允许根据用户需求自定义转发周期。最重要的是,使用隧道代理的开发者不再需要担心维护复杂的IP池,极大地简化了编程过程。
隧道HTTP代理主要分为HTTP隧道代理和SOCKS5隧道代理两种类型。
HTTP隧道代理主要是通过HTTP协议来传输数据,将请求数据包封装在HTTP报文中,然后通过代理服务器发送到目标服务器上,随后将目标服务器返回的响应数据包封装在HTTP报文中,再通过代理服务器返回到客户端。
而SOCKS5隧道代理则是将请求数据包直接封装成TCP或UDP数据包,再通过代理服务器发送到目标服务器上,然后将目标服务器返回的响应数据包也直接封装成TCP或UDP数据包返回到客户端。
隧道代理的设置,从我们这边,是分为三种:
今天我们主要来说最后一种隧道代理(全球HTTP)该如何使用:
1.在开通隧道代理(全球HTTP)后,单击网站右上角的【控制台】,进入后台管理面板,在左侧栏目里选择【代理IP】-【按量业务】,找到已经开通的隧道代理(全球HTTP)业务;
2.隧道代理无须提取HTTP代理,接入隧道服务即可;
3.请求隧道代理;
4.在程序中通过调用API接口获取代理,然后请求目标网站。
(1)API调用需要验证,验证方式包括密钥验证和白名单验证,根据实际使用自主选择;
(2)密钥验证方式请求头带AuthKey和AuthPwd信息即可;
(3)添加白名单可以免密,添加白名单后大概在30s之后生效。
隧道不支持API的调用,只有白名单功能的API接口。
隧道代理(全球HTTP)支持密钥验证和白名单两种验证方式,建议先在本机测试,具体如何测试我们之前有介绍过,这边就先不展开说了。
此处的隧道代理(全球HTTP)以curl为例,解释使用方法。
在使用了白名单模式时,不需要添加authkey和authpwd。
curl -x {隧道服务器} {目标url}// 例子curl -x overseas.tunnel.qg.net:15561 www.baidu.com
账密模式下需要在请求中加入authkey和authkey,authkey和authkey可以在控制台中查看。
curl -x {authkey}:{authkey}@{隧道服务器} {目标url}// 例子curl -x HBRMO154:4799868CE54@@overseas.tunnel.qg.net:15561 www.baidu.com
因为隧道代理每次请求都会随机更换IP,如果你希望随机范围限定在某个国家,可以通过添加国家编码参数来指定使用某个国家的HTTP代理。
curl -x {authkey}:{authpwd}:A{国家编码}@{隧道服务器} {目标url}// 例子,指定使用美国IPcurl -x HBRMO154:4799868CE54:[email protected]:15561 www.baidu.com
如果用户需要多个请求在维持一个HTTP代理,比如:需要登录,获取数据两个请求在一个HTTP代理下,则可对HTTP代理进行打标记,通过标记请求在代理有效期内使用相同的HTTP代理,并且可以支持设定该通道的存活时间。
curl -x {authkey}:{authpwd}:C{自定义通道名}:T{存活时间}:A{国家编码}@{隧道服务器} {目标url}// 例子,通道名自定义为100,存活时间设为60秒curl -x HBRMO154:4799868CE54:C100:T60:[email protected]:15561 www.baidu.com
为了降低使用隧道服务的延迟,青果网络为隧道代理(全球HTTP)提供了多个隧道服务器,用户可根据自身的使用情况就近选择隧道服务器。隧道服务器的地址可在控制台中查看。
curl -x {authkey}:{authpwd}:C{自定义通道名}:T{存活时间}:A{国家编码}@{隧道服务器} {目标url}// 例子,更换隧道服务器为美国的隧道服务器curl -x HBRMO154:4799868CE54:C100:T60:[email protected]:15561 www.baidu.com
HTTP返回码 |
说明 |
400 |
客户端错误。客户端协议无法被识别; |
431 |
请求头过大。出现在http代理中,header头部信息过多导致; |
302 |
出现302一般有两种情况: (1).客户端IP为海外HTTP代理,服务器会重定向到预警页面; (2).客户端访问的目标站被拦截,比如银行网站、邮箱、社交软件等,服务器返回重定向到预警页面; |
407 |
授权错误,出现407一般有两种情况: (1).白名单模式,可能是用户有多出口IP,没有全部添加到白名单;或可能连接使用IP资源,是添加白名单前获取的,白名单未对其生效; (2).账密模式,可能是账密信息错误; (3).共享IP产品中可能是IP已过期; |
408 |
目标站不可达。服务端与目标站建连失败,服务端不可达或者当前代理IP掉线; |
429 |
请求数超出。隧道产品中用户QPS大于购买的请求数;独享和共享产品中,用户当前的代理tcp连接超出限制数; |
508 |
代理目标站为代理IP地址导致死循环。一般不出现; |
503 |
当前代理协议不支持,比如ss代理协议; |
代理请求数据统计包括IP请求统计,提供了对请求量和请求错误的统计分析。方便随时关注采集程序的运行情况,及时发现错误并修正。
同时IP请求统计还提供几种常见的错误类型分析,如请求成功、授权失败、请求数超出、连接超时等,助力数据高效采集。