变换User-agent伪装自己

# 上一节中
# 我们没有加任何修饰单纯几行python代码
# 请求的user-agent是Python-urllib
# 很遗憾，服务器很容易就识别出了你是机器人
# 所以我们要修改user-agent

from urllib.request import urlopen
from urllib.request import Request
from random import choice

url = "http://www.baidu.com"

user_agents = [
    # 以下绿字通过浏览器找到request里面的user-agent获得的
    # 或者通过编写print(request.get_header('User-agent'))获得
    "Mozilla/5.0(compatible;MSIE9.0;WindowsNT6.1;Trident/5.0",
    "Opera/9.80(WindowsNT6.1;U;en)Presto/2.8.131Version/11.11",
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36"]

headers = {
    # 使用动态user-agent
    # 意思就是上述三行绿字随机使用
    # User-agent可以去网上搜，一大片
    "User-Agent": choice(user_agents)
}
# 使用request伪装自己
request = Request(url, headers=headers)
# print(request.get_header('User-agent'))
response = urlopen(request)

info = response.read()

print(info.decode())