Python3的第三方Requests库

一、介绍

Requests 是用Python语言编写，基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便，可以节约我们大量的工作，完全满足 HTTP 测试需求。Requests 的哲学是以 PEP 20 的习语为中心开发的，所以它比 urllib 更加 Pythoner。更重要的一点是它支持 Python3！

二、安装

• pip安装

pip install requests

• GitHub下载安装

$ git clone git://github.com/kennethreitz/requests.git
$ cd requests
$ python setup.py install

三、使用

Request库的几个主要方法

• requests.request()：构造一个请求，支持以下各种方法
• requests.get()：获取html的主要方法
• requests.head()：获取html头部信息的主要方法
• requests.post()：向html网页提交post请求的方法
• requests.put()：向html网页提交put请求的方法
• requests.patch()：向html提交局部修改的请求
• requests.delete()：向html提交删除请求

requests.get()

# 具体参数
requests.get(url,params,**kwargs)

- url: 需要爬取的网站地址。
- params: 参数，使用这个参数可以把一些键值对以?key1=value1&key2=value2的模式增加到url中 
- **kwargs : 12个控制访问的参数 

• 简单的使用

import requests
 
response = requests.get('https://www.baidu.com')    # 最基本的GET请求
print(response .status_code)    # 获取返回状态

• 12个**kwargs

- data：字典，字节序或文件对象，重点作为向服务器提供或提交资源是提交。作为request的内容，与params不同的是，data提交的数据并不放在url链接里， 而是放在url链接对应位置的地方作为数据来存储。它也可以接受一个字符串对象。
- json：json格式的数据， json合适在相关的html，http相关的web开发中非常常见， 也是http最经常使用的数据格式， 他是作为内容部分可以向服务器提交。
- headers：字典是http的相关语，对应了向某个url访问时所发起的http的头i字段， 可以用这个字段来定义http的访问的http头，可以用来模拟任何我们想模拟的浏览器来对url发起访问。 
- cookies：字典或CookieJar，指的是从http中解析cookie
- auth：元组，用来支持http认证功能
- files：字典， 是用来向服务器传输文件时使用的字段。
- timeout: 用于设定超时时间， 单位为秒，当发起一个get请求时可以设置一个timeout时间， 如果在timeout时间内请求内容没有返回， 将产生一个timeout的异常。
- proxies：字典， 用来设置访问代理服务器。
- allow_redirects: 开关， 表示是否允许对url进行重定向， 默认为True。
- stream: 开关， 指是否对获取内容进行立即下载， 默认为True。
- verify：开关， 用于认证SSL证书， 默认为True。
- cert： 用于设置保存本地SSL证书路径

• 带参数的Get请求

# 复杂的get请求
import requests
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'}
url = "https://www.baidu.com/s"
params = {
    "ie":"utf-8",
    "kw":"校花"
}

r = requests.get(url=url,headers=headers,params=params)
# get请求的参数用params形参来接收，接收的时候字典就行
print(r.status_code)

• 获取cookies

import requests
 
r = requests.get('http://www.google.com.hk/')
print(r.cookies['NID'])
print(tuple(r.cookies))

对于某些需要登录才能访问的网站，获取到Cookies后，下次请求时我们可以携带Cookies进行网站的访问

• 携带cookie

import requests
 
url = 'http://httpbin.org/cookies'
cookies = {'testCookies_1': 'Hello_Python3', 'testCookies_2': 'Hello_Requests'}
# 在Cookie Version 0中规定空格、方括号、圆括号、等于号、逗号、双引号、斜杠、问号、@，冒号，分号等特殊符号都不能作为Cookie的内容。
r = requests.get(url, cookies=cookies)
print(r.json())

requests有一个Session对象可以用于保存会话。练习将使用Session对象来保存对话

• 上传文件

# 上传图片
import requests
 
url = 'http://127.0.0.1:5000/upload'
files = {'file': open('./test.jpg', 'rb')}
#files = {'file': ('test.jpg', open('/test.jpg', 'rb'))}     #显式的设置文件名
 
r = requests.post(url, files=files)
print(r.text)


# 把字符串当成文件进行上传
import requests
 
url = 'http://127.0.0.1:5000/upload'
files = {'file': ('test.txt', b'Hello Requests.')}     #必需显式的设置文件名
 
r = requests.post(url, files=files)
print(r.text)

• 使用代理

import requests

proxies = {
  "http": "http://10.10.1.10:3128",
  "https": "http://10.10.1.10:1080",
}

requests.get("http://www.zhidaow.com", proxies=proxies)

response的对象属性

• 对象属性

- status_code：请求的返回状态，若为200则表示请求成功。
- text：响应内容的字符串形式，即返回的页面内容
- encoding：从http header 中猜测的相应内容编码方式
- apparent_encoding：从内容中分析出的响应内容编码方式（备选编码方式）
- content：响应内容的二进制形式返回

• 使用

>>> import requests
>>> r=requests.get("http://www.baidu.com")
>>> r.status_code
200

>>>  r.encoding
'ISO-8859-1'

>>> r.apparent_encoding
'utf-8'

>>> r.content
'\r\n ipt> æ\x9b´å¤\x9a产å\x93\x81