urllib、request 网络请求包使用

什么是urllib:
Urllib是python内置的HTTP请求库

常用模块

urllib.request 请求
urllib.parser解析

urllib.request.urlopen

data = {
'name' = 'name',
'age' = 18
}
bianliang = urllib.parse.urlencode(data).encode()
request = urllib.request.Request(url=url, data=bianliang,headers=headers)

import urllib.request

response = urllib.request.urlopen('http://www.baidu.com')
content = response.read().decode('utf-8')
print(content)

获取状态码 头部信息

request = urllib.request.Request(url=url,headers=self.headers)
response = urllib.request.urlopen(request)

获得响应的内容

content = response.read().decode()

*防止被反扒 需要一些headers头部信息才能访问

self.headers = {
'User-Agent': 'UA地址'
}
这样请求网站时 就是头部信息了