正确的使用HTTP代理

HTTP代理对于网络爬虫是一种很常见的协议，HTTP代理协议也是大数据时代不可缺少的一部分。HTTP代理在网络爬虫中发挥出了他大量用途。HTTP代理其实有许多用途，例如：刷票，爬虫，抢单，刷单，等等一系列业务 都适合HTTP代理。其实对于网络爬虫工作来着说，许多网络工作者都不知道如何使用HTTP代理。那么如何才能正确使用HTTP代理呢？

大数据时代，各类网站的限制，限制爬虫，限制访问等导致无法访问和获取数据，这对爬虫用户就会产生极大的影响，这是网络爬虫用户就会运行HTTP代理来完成这些工作。网络爬虫需要在短时间内采集到大量数据，就需要运行HTTP代理IP，避免网站的反爬和网站的IP限制。使用网络爬虫程序接入HTTP代理，直接采集数据即可。

#! -*- encoding:utf-8 -*-

import requests

# 要访问的目标页面
targetUrl = "http://ip.hahado.cn/ip"

# 代理服务器
proxyHost = "http://ip.hahado.cn"
proxyPort = "39010"

# 代理隧道验证信息
proxyUser = "username"
proxyPass = "password"

proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
"host" : proxyHost,
"port" : proxyPort,
"user" : proxyUser,
"pass" : proxyPass,
}

proxies = {
"http" : proxyMeta,
"https" : proxyMeta,
}

resp = requests.get(targetUrl, proxies=proxies)

print resp.status_code

print resp.text