本文简单介绍了requests的基本使用,python爬虫中requests模块绝对是是最好用的网络请求模块，可以忘记以前学的urllib和urllib3
requests的安装
pip install requests
response对象
| 属性 | 说明 |
|---|---|
| r.status_code | HTTP请求的返回状态,200表示连接成功,其它表示失败 |
| r.text | url对应的html文本 |
| r.encoding | html的编码方式 |
| r.apparent_encoding | 备选编码方式 |
| r.content | http响应内容的二进制形式 |
| r.url | 对应的url |
| r.cookies | 返回生成的cookies |
发送请求
一开始导入Requests模块
import requests
GET请求
r = requests.get(url, params=None, **kwargs)
url：拟获取页面的url链接
params：url中的额外参数，字典或字节流格式
**kwargs: 12个可控制访问的参数
此时得到了r的Response对象，我们可以根据这个对象的属性获取索要信息。
我们不妨看一下requests中get方法的实现
def get(url, params=None, **kwargs):
r"""Sends a GET request.
:param url: URL for the new :class:`Request` object.
:param params: (optional) Dictionary, list of tuples or bytes to send
in the body of the :class:`Request`.
:param \*\*kwargs: Optional arguments that ``request`` takes.
:return: :class:`Response ` object
:rtype: requests.Response
"""
kwargs.setdefault('allow_redirects', True)
return request('get', url, params=params, **kwargs)
举例说明最常用的方式
>>> import requests
>>> r = requests.get("https://www.baidu.com")
>>>
POST请求
r = requests.post(url, data = {"key"： "value"})
构建URL
如果手工构建URL，那么数据会以键值的形式在URL的问号后面，Requests可以通过params来构建URL。例如在百度上查询Requests库后，其网页链接应该是类似这样的
https://www.baidu.com/s?wd=requests&rsv_spt=1&rsv_iqid=0xa4190d6100037ee8&issp=1&f=3&rsv_bp=1&rsv_idx=2&ie=utf-8&tn=baiduhome_pg&rsv_enter=1&rsv_sug3=7&rsv_sug1=6&rsv_sug7=100&rsv_sug2=1&prefixsug=reques&rsp=0&inputT=5095&rsv_sug4=7054&rsv_sug=1
搜索后的网页应该是这样的
image
我们把URL主体留下来，再次查询
https://www.baidu.com/s?wd=requests
网页反馈
image
发现两个网页页面完全一样，仔细看看上面wd=requests，这其实就是上面介绍可以用键值的方式，wd就是键，而requests就是值，可以同params构建完整URL，简要举例说明用法
params = {"wd": "requests"}
url = "https://www.baidu.com"
r = requests.get(url, params=params)
二进制响应内容
对非文本请求，可以以字节的访问，例如下载图片，这里提供两种方式
方法一
import requests
from PIL import Image
from io import BytesIO
r = requests.get("https://upload-images.jianshu.io/upload_images/14198966-452601202f9ecebf.jpg")
img = Image.open(ByteIO(r.content))
img.save(path)
方法二
import requests
r = requests.get("https://upload-images.jianshu.io/upload_images/14198966-452601202f9ecebf.jpg")
with open(path, "wb") as f:
f.write(r.content)
定制请求头
在反爬虫机制中，检查headers里面的元素是比较普遍的手段，可以通过F12来查看header进而添加header来应对简单的反爬虫
image
import requests
headers = {"User-Agent": " Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:67.0) Gecko/20100101 Firefox/67.0"}
r = requests.get(url, headers=headers)
Cookie
当某个响应中包含一些cookie，cookie是用来衔接一个页面与另一个页面的关系，比如说当我登录以后, 浏览器为了保存登录信息, 将这些信息存放在了 cookie 中. 然后我访问第二个页面的时候, 保存的 cookie 被调用, 服务器知道之前做了什么, 浏览了些什么。有两种方式携带cookie
方法一，以手动的方式附带cookie
r = requests.get(url, cookies=cookies)
方法二，通过Session自带cookie
s = requests.Session()
r = s.get(url)
参考：
1.https://morvanzhou.github.io/tutorials/data-manipulation/scraping/3-01-requests/#%E7%99%BB%E5%BD%95
2.https://2.python-requests.org//zh_CN/latest/user/quickstart.html