Python网络爬虫——设置代理服务器

1、简介

使用同一个ip频繁爬取一个网站，久了之后会被该网站的服务器屏蔽。所以这个时候需要使用代理服务器。通过ip欺骗的方式去爬取网站

可以使用http://yum.iqianyue.com.com/proxy中找到很多服务器代理地址

2、应用

# *-*coding:utf-8*-*
from urllib import request
def use_porxy(porxy_addr,url):
    porxy = request.ProxyHandler({'http':porxy_addr})
    opener = request.build_opener(porxy, request.ProxyHandler)
    request.install_opener(opener)
    data = request.urlopen(url).read().decode('utf-8')
    return data
data = use_porxy("114.115.182.59:128","http://www.baidu.com")
print(len(data))