urllib2自定义构建代理handler之公开代理的使用(不需要授权)

 在https://blog.csdn.net/myli_binbin/article/details/99759031中提到,当使用自定义handler时,生成opener后,要调用opener的open方法去发送请求,这篇文章提到如何使用自定义handler后继续使用urlopen方法发送请求

#!/usr/bin/env python
# -*- coding:utf-8 -*-

import urllib2

# 代理开关,表示是否启用代理
proxyswitch = True

# 构建一个Handler处理器对象,参数是一个字典类型,包括代理类型和代理服务器IP+PROT
httpproxy_handler = urllib2.ProxyHandler({"http": "116.21.122.236:808"})

# 构建了一个没有代理的处理器对象
nullproxy_handler = urllib2.ProxyHandler({})

if proxyswitch:
    opener = urllib2.build_opener(httpproxy_handler)
else:
    opener = urllib2.build_opener(nullproxy_handler)

# 构建了一个全局的opener,之后所有的请求都可以用urlopen()方式去发送,也附带Handler的功能
urllib2.install_opener(opener)

request = urllib2.Request("http://www.baidu.com/")
response = urllib2.urlopen(request)

print response.read()

你可能感兴趣的:(爬虫)