requests库

import requests
headers={
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36',
}

1.处理get请求

我们以百度为例，当我们在百度中输入关键字"python"时，其链接地址为：
https://www.baidu.com/s?ie=utf8&f=8&rsv_bp=1&rsv_idx=1&tn=baidu&wd=python&rsv_pq=b85be784000461b9&rsv_t=4ee0sFgpQBgzanEVwm43KWftDR1BUncP4gzlMxT2eOoSXQbCNm8%2FdxmPsoI&rqlang=cn&rsv_enter=1&rsv_dl=tb&rsv_sug3=8&rsv_sug1=6&rsv_sug7=101&rsv_sug2=0&inputT=940&rsv_sug4=4361&rsv_sug=1

在https://www.baidu.com/s后面都是以键值进行连接的，而wd就是我们的关键字

我们定义原始url为"https://www.baidu.com/s?"，则有

kw={"wd":"中国"}
url="https://www.baidu.com/s"
#将kw用params传递到url中，通过get请求
response=requests.get(url,params=kw,headers=headers)

在response中就存有爬取下来的网页信息。

response.text (返回unicode数据)

response.context.decode("utf-8") （返回字节流数据，再编码成utf-8）

response。url（响应的url地址）

https://www.baidu.com/s?wd=%E4%B8%AD%E5%9B%BD

response.encoding（response的编码方式）

utf-8

response.status_code（HTTP请求状态码，200表示请求成功）

2.处理post请求

response=requests.post(url,headers=headers,data=data)
print(response.json())

3.使用代理

resp=requests.get(url,headers=headers,proxies=proxy)

4.cookie与session

url="http://www.lagou.com/PLogin.do"
data={"email":123,"password":"123"}
headers={
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36',
}
session=requests.session()
resp=session.post(url,headers=headers,data=data)
print(resp.text)