urllib模拟浏览器登录

使用build_opener()修改报头

由于urlopen()不支持一些HTTP的高级功能，所以，我们如果要修改报头，可以使用urllib.request.build_opener()进行，比如，如果要爬取刚才无法爬取的网页，我们可以使用如下代码:

import urllib.request

url = 'https://www.baidu.com/'
headers = ('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36')
opener = urllib.request.build_opener()
opener.addheaders = [headers]
data = opener.open(url).read()
print(data.decode('utf-8'))

使用add_header()添加报头

我们还可以使用urllib.request.Request()下的add_header()实现浏览器的模拟

import urllib.request

url = 'https://www.baidu.com/'
req = urllib.request.Request(url)
req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36')
data = urllib.request.urlopen(req).read()
print(data.decode('utf-8'))