**
**
很多网站会检测某一段时间某个 IP 的访问次数(通过流量统计,系统日志等),如果访
问次数多的不像正常人,它会禁止这个 IP 的访问。所以我们可以设置一些代理服务器,每
隔一段时间换一个代理,就算 IP 被禁止,依然可以换个 IP 继续爬取。
request 中通过 ProxyHandler 来设置使用代理服务器,下面代码说明如何使用自定义
opener 来使用代理:
from urllib import request
#使用代理
httpproxy_handler = request.ProxyHandler({"http":"139.223.222.22:80"})
opener = request.build_opener(httpproxy_handler)
request = request.Request("http://www.baidu.com/")
response = opener.open(request)
print(response.read())
免费的开放代理获取基本没有成本,我们可以在一些代理网站上收集这些免费代理,测
试后如果可以用,就把它收集起来用在爬虫上面,如果代理 IP 足够多,就可以像随机获取 User-Agent 一样,随机选择一个代理去访问网站。
from urllib import request
import random
porxy_list = [
{"http":"122.222.222.22:80"},
{"http":"122.222.222.33:80"},
{"http":"122.222.222.33:808"},
]
随机选择一个代理
proxy=random.choice(proxy_list)
print(proxy)
httpproxy_handler = request.ProxyHandler(proxy)
**
**
import requests
#设置代理ip
proxies = {
"http":"http://116.209.52.120:9999"
}
response = requests.request("get","http://www.baidu.com",proxies = proxies)
print(response.text)