ProxyHandler处理器(代理设置)(urllib库)

ProxyHandler处理器(IP代理)

  很多网站会检测某一段时间某个IP的访问次数(通过流量统计,系统日志等),如果访问次数多的不像正常人,它会禁止这个IP的访问。所以我们可以设置一些代理服务器,每隔一段时间换一个代理,就算IP被禁止,依然可以换个IP继续爬取。
  urllib中通过ProxyHandler来设置使用代理服务器,下面代码说明如何使用自定义opener来使用代理:
  1、代理的原理:在请求目的网站之前,先请求代理服务器,然后让代理服务器去请求目的网站,代理服务器拿到目的网站的数据后,再转发给我们的代码。
  2、http://httpbin.org 这个网站可以方便的查看http请求的一些参数。
  3、在代码中使用代理:
   - 使用’urllib.request.ProxyHandler’,传入一个代理,这个代理是一个字典,字典的key依赖于代理服务器能够接收的类型,一般是http或者https值是ip:port;
  - 使用上一步创建的 handler,以及’request.build.opener’创建一个’opener’对象;
  - 使用上一步创建的’opener’,调用’open’函数,发起请求。
  示例代码如下:

from urllib import request

# 这个是没有使用代理的
# resp = request.urlopen('http://httpbin.org/get')
# print(resp.read().decode("utf-8"))

# 这个是使用了代理的
handler = request.ProxyHandler({"http":"218.66.161.88:31769"})
opener = request.build_opener(handler)
req = request.Request("http://httpbin.org/ip")
resp = opener.open(req)
print(resp.read())

  4、常用的代理有:
  ●西刺免费代理IP:http://www.xicidaili.com/
  ●快代理:http://www.kuaidaili.com/
  ●代理云:http://www.dailiyun.com/

你可能感兴趣的:(ProxyHandler处理器(代理设置)(urllib库))