代理ip

import urllib.request


#代理开关,表示是否启用代理
proxyswitch = True

#httpproxy_handler = urllib.request.ProxyHandler()

#免费短期代理网站举例:
#西刺免费代理IP http://www.xicidaili.com/   快代理免费代理   Proxy360代理   全网代理IP
#如果代理足够多,就可以像随机获取User-Agent一样,随机选择一个代理去访问网站。

# 构建一个Handler处理器对象,参数是一个字典类型,包括代理类型和代理服务器IP+PROT
httpproxy_handler = urllib.request.ProxyHandler({"http":"47.95.213.117:80"})

#构建一个没有代理的处理器对象
nullproxy_handler = urllib.request.ProxyHandler({})

if proxyswitch:
    opener = urllib.request.build_opener(httpproxy_handler)
else:
    opener = urllib.request.build_opener(nullproxy_handler)

#构建了一个全局的opener,之后所有的请求都可以用urlopen()方式去发送,也附带Handler的功能
#urllib.request.install_opener(opener)
request = urllib.request.Request("http://www.baidu.com/")
response = urllib.request.urlopen(request)

print(response.read())

你可能感兴趣的:(爬虫)