Requests库GET请求是使用HTTP协议中的GET请求方式对目标网站发起请求。
(不带参数的GET请求请看上一篇文章的练习)
使用Get方法带参数请求时,是params=参数字典,而不是data=参数字典。data=参数字典是post方法的参数。
"""
1.学习目标
必须掌握requests中带参数的get请求
2.语法
requests.get(url,parmas=None)
2.1 不带参数的get请求(看上一篇中的练习)
2.2 带参数的get请求(如下)
3.操作步骤
# 1.导入requests库
# 2.明确请求地址
# 3.明确请求参数
data = {key:value} 字典格式
# 4.发送请求获取返回数据
4.需求
使用requests库发送一个带参数的get请求
"""
# 1.导入requests库
import json
import requests
# 2.明确请求地址
url = "http://127.0.0.1:8000/api/departments/"
# 3.明确请求参数
# 是一个字典类型数据
data = {"$dep_id_list": "10,11"}
# 4.发送请求
response = requests.get(url=url, params=data)
# print(response.json())
# 将python对象转换为json字符串(格式化放回数据)
result = json.dumps(response.json(), indent=2, ensure_ascii=False)
# print(type(result)) # 字符串类型
print(result)
"""
结果:
{
"count": 2,
"next": null,
"previous": null,
"results": [
{
"dep_id": "10",
"dep_name": "超神_10",
"master_name": "陆兴雷_10",
"slogan": "带头学习"
},
{
"dep_id": "11",
"dep_name": "超神_11",
"master_name": "陆兴雷_11",
"slogan": "带头学习"
}
]
}
"""
如果你想学习接口测试,我这边给你推荐一套视频,这个视频可以说是B站播放全网第一的接口自动化测试教程,同时在线人数到达1000人,并且还有笔记可以领取及各路大神技术交流:798478386
Postman接口测试使用教程和接口自动化测试项目实战你要的都有_哔哩哔哩_bilibiliPostman接口测试使用教程和接口自动化测试项目实战你要的都有共计32条视频,包括:1.精通Postman之课程大纲和效果展示、2.精通Postman之接口测试简介和分类、3.精通Postman之接口测试流程和用例设计等,UP主更多精彩视频,请关注UP账号。https://www.bilibili.com/video/BV11K4y1J7sh/?spm_id_from=333.337.search-card.all.click
我们可以通过访问Httpbin
来查看或者调试Requests库发送请求的内容。
还是以上面的例子为例:
# 1.导入requests库
import json
import requests
# 2.明确请求地址
# url = "http://127.0.0.1:8000/api/departments/"
url = "http://127.0.0.1:9999/get"
# 3.明确请求参数
# 是一个字典类型数据
data = {"$dep_id_list": "10,11"}
# 4.发送请求
response = requests.get(url=url, params=data)
# response = requests.get(url='http://httpbin.org/get?name=admin&age=20') # 这种方式调用也可以
# print(response.json())
# 将python对象转换为json字符串(格式化放回数据)
result = json.dumps(response.json(), indent=2, ensure_ascii=False)
# print(type(result)) # 字符串类型
print(result)
"""
接口返回结果:
{
"args": {
"$dep_id_list": "10,11"
},
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Connection": "keep-alive",
"Host": "127.0.0.1:9999",
"User-Agent": "python-requests/2.18.4"
},
"origin": "127.0.0.1",
"url": "http://127.0.0.1:9999/get?%24dep_id_list=10%2C11"
}
我们可以看到args属性中有参数内容,
如果是不带参数的Get请求,args属性中是没有内容的,如下:
{
"args": {},
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Connection": "keep-alive",
"Host": "127.0.0.1:9999",
"User-Agent": "python-requests/2.18.4"
},
"origin": "127.0.0.1",
"url": "http://127.0.0.1:9999/get"
}
"""
例如上面例子中,请求头信息中"User-Agent": "python-requests/2.18.4"
,我们需要改变请求头中User-Agent
属性的内容,看下面例子:
# 1.导入requests库
import json
import requests
# 2.明确请求地址
# url = "http://127.0.0.1:8000/api/departments/"
url = "http://127.0.0.1:9999/get"
# 3.明确请求参数
# 是一个字典类型数据
data = {"$dep_id_list": "10,11"}
# 明确请求头信息
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3775.400 QQBrowser/10.6.4209.400"}
# 4.发送请求
response = requests.get(url=url, params=data, headers=headers)
# print(response.json())
# 将python对象转换为json字符串(格式化放回数据)
result = json.dumps(response.json(), indent=2, ensure_ascii=False)
# print(type(result)) # 字符串类型
print(result)
"""
接口返回结果:可以看到User-Agent属性变成了我们设置的内容了。
{
"args": {
"$dep_id_list": "10,11"
},
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Connection": "keep-alive",
"Host": "127.0.0.1:9999",
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3775.400 QQBrowser/10.6.4209.400"
},
"origin": "127.0.0.1",
"url": "http://127.0.0.1:9999/get?%24dep_id_list=10%2C11"
}
"""
除此之外Get请求还有很多请求参数,如timeout
你可以设置请求时间,如果超过这个时间变自行结束请求,可以利用此判断请求代理的相应效率,避免在某些错误请求上浪费过多的时间。
POST请求用于向服务器提交数据,比如增删改数据,提交一个表单新建一个用户、或修改一个用户等。
对于POST请求,我们可以通过浏览器开发者工具或者其他外部工具来进行抓包,得到请求的URL、请求头(request headers)以及请求的表单data信息,这三样恰恰是我们用Requests模拟POST请求时需要的。
关于请求头的配置和GET请求是一样的,都是定义headers
属性即可。
而关于POST请求提交的参数,是和GET请求是不一样的。
post请求四种传送正文方式:
(1)请求正文是application/x-www-form-urlencoded
(2)请求正文是multipart/form-data
(3)请求正文是raw
(4)请求正文是binary
这四种提交数据的方式,是在请求头Content-Type
属性中来定义。
Reqeusts支持以application/x-www-form-urlencoded
数据格式发送POST请求(标准的POST请求数据格式,默认),只需要将请求的参数构造成一个字典,然后传给requests.post()
的data参数即可。
示例:
"""
1.学习目标
必须掌握requests库发送post请求方法
2.HTTP协议中post请求参数类型
requests.post(url, data=None, json=None, **kwargs)
根据不同的请求参数类型分为如下几种:
x-www-form-data-urlencoded
raw_json格式
form-data
binary
3.json格式
# 1.导入requests库
# 2.明确请求地址
# 3.明确请求参数
data = {key:value} 字典格式
# 4.发送请求
requests.post(url=url,json=data)
4.需求
通过访问http://httpbin.org/post接口,验证post参数类型
"""
# 1.导入requests库
import requests
import json
# 2.明确请求地址
url = "http://httpbin.org/post"
# 3.明确请求参数
data = {
"dep_id": "T01",
"dep_name": "Test学院",
"master_name": "Test-Master",
"slogan": "Here is Slogan"
}
# 4.发送请求
response = requests.post(url=url, data=data)
# 将python对象转换为json字符串(格式化返回数据)
result = json.dumps(response.json(), indent=2, ensure_ascii=False)
# print(type(result)) # 字符串类型
print(result)
"""
返回结果:
{
"args": {},
"data": "",
"files": {},
****************主要看这里
"form": {
"dep_id": "T01",
"dep_name": "Test学院",
"master_name": "Test-Master",
"slogan": "Here is Slogan"
},
***********************
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Content-Length": "88",
*****************主要看这里
"Content-Type": "application/x-www-form-urlencoded",
*****************
"Host": "httpbin.org",
"User-Agent": "python-requests/2.18.4",
"X-Amzn-Trace-Id": "Root=1-5ff401e3-1553596b7788e77e275c4772"
},
"json": null,
"origin": "106.35.9.12",
"url": "http://httpbin.org/post"
}
"""
说明:
Content-Type
属性为application/x-www-form-urlencoded
application/x-www-form-urlencoded
格式发送数据,requests.post(url=url, data=data)
方法中一定要使用data变量来接收参数。application/x-www-form-urlencoded
数据格式的POST请求。(也可以在请求头中明确一下Content-Type
属性,但没必要。)RAW的原意就是“未经加工”。换句话说RAW方式使用的是纯字符串的数据上传方式,所以在发送POST请求之前,可能需要手工的把一些JSON格式的数据转换成字符串的(加两单引号),在进行提交。
RAW数据格式的POST请求有两种:
下面我们一一说明:
# 1.导入requests库
import requests
import json
# 2.明确请求地址
url = "http://httpbin.org/post"
# 3.明确请求参数
data = {
"data": [
{
"dep_id": "T01",
"dep_name": "Test学院",
"master_name": "Test-Master",
"slogan": "Here is Slogan"
}
]
}
# headers = {"Content-Type": "application/json"}
# 4.发送请求
response = requests.post(url=url, json=data)
print(response) #
print(response.text)
"""
返回结果:
{
"args": {},
"data": "{\"data\": [{\"dep_id\": \"T01\", \"dep_name\": \"Test\\u5b66\\u9662\", \"master_name\": \"Test-Master\", \"slogan\": \"Here is Slogan\"}]}",
"files": {},
"form": {},
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Content-Length": "119",
**************************主要看这里
"Content-Type": "application/json",
**************************
"Host": "httpbin.org",
"User-Agent": "python-requests/2.18.4",
"X-Amzn-Trace-Id": "Root=1-5ff40a9d-6a6f19d272ba4c1b40ff7bbb"
},
**************************主要看这里
"json": {
"data": [
{
"dep_id": "T01",
"dep_name": "Test\u5b66\u9662",
"master_name": "Test-Master",
"slogan": "Here is Slogan"
}
]
},
**************************
"origin": "106.35.9.12",
"url": "http://httpbin.org/post"
}
"""
说明:
Content-Type
属性为application/json
。application/json
格式发送数据,requests.post(url=url, json=data)
方法中一定要使用json变量来接收参数。application/json
数据格式的POST请求。(也可以在请求头中明确一下Content-Type
属性,但没必要。)注意:
这里我们可以发现Requests模拟post请求时,请求头格式为application/x-www-form-urlencoded与application/json的主要差别在于请求主体的构造格式(前者是键值对,后者是JSON串),前者直接用字典传入,后者用json.dumps()函数将字典转为JSON串即可。
也就是说在有需要的时候json模块下的dumps函数可以将dict转换为str。
(2)xml格式文本(text/xml)
# 1.导入requests库
import requests
import json
# 2.明确请求地址
url = "http://httpbin.org/post"
# 3.明确请求参数
data = '' \
'' \
'菜鸟教程 ' \
'www.runoob.com ' \
' ' \
'' \
'Google ' \
'www.google.com ' \
' ' \
' '
# requests.post方法中适用json变量来接收数据,
# 默认是"Content-Type": "application/json",
# 这里我们需要重新声明一下Content-Type属性。
headers = {'Content-type': 'text/xml'}
# 4.发送请求
# 如果数据用data变量来接收会报错。
response = requests.post(url=url, json=data, headers=headers)
print(response) #
# print(response.text)
# 将python对象转换为json字符串(格式化返回数据)
result = json.dumps(response.json(), indent=2, ensure_ascii=False)
# print(type(result)) # 字符串类型
print(result)
"""
返回结果:
{
"args": {},
"data": "\"\\u83dc\\u9e1f\\u6559\\u7a0b www.runoob.com Google www.google.com \"",
"files": {},
"form": {},
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Content-Length": "149",
**************************主要看这里
"Content-Type": "text/xml",
**************************
"Host": "httpbin.org",
"User-Agent": "python-requests/2.18.4",
"X-Amzn-Trace-Id": "Root=1-5ff40fa5-21a79b532b1ccf6d20173fd7"
},
**************************主要看这里
"json": "菜鸟教程 www.runoob.com Google www.google.com ",
**************************
"origin": "106.35.9.12",
"url": "http://httpbin.org/post"
}
"""
说明:
Content-Type
属性。application/json
一样。提示:其实raw格式数据可以上传text、json、xml、html等纯字符的文本。
使用binary格式的正文发送POST请求,是直接使用二进制流进行数据传输,多用于上传单个图片或图片。
也可以用于把请求的参数放入一个文件中,进行数据的提交。
示例如下:
"""
1.学习目标
掌握requests发送post请求
2.HTTP协议中post请求参数类型
x-www-form-data-urlencoded
raw_json格式
form-data
binary
3.binary格式
# 1.明确请求地址
# 2.明确请求参数
data = {"files":open("文件名","rb")} 字典格式
# 3.发送请求
requests.post(url= url,files=data)
4.需求
http://httpbin.org/post
"""
# 1.导入requests
import requests
# 2.请求地址
url = "http://httpbin.org/post"
# 3.请求参数
# 读取文件中的数据作为参数进行提交。
# key位置要写files,是规范
# 也可以写其他的名字,不规范
data = {"files": open("test.txt", "rb")}
# 4.发送请求
response = requests.post(url=url, files=data)
print(response.text)
"""
请求结果如下:
{
"args": {},
"data": "",
**************************主要看这里
"files": {
"files": "username=\u5927\u5c0f\u59d0\r\npassword=test123456\r\nage=18"
},
**************************
"form": {},
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Content-Length": "192",
**************************主要看这里
"Content-Type": "multipart/form-data; boundary=351e0b73ea144694a9e9fdd1e10d2486",
**************************
"Host": "httpbin.org",
"User-Agent": "python-requests/2.18.4",
"X-Amzn-Trace-Id": "Root=1-5ff499ea-7ad42c4e6f056b44347b3c26"
},
"json": null,
"origin": "106.35.9.12",
"url": "http://httpbin.org/post"
}
"""
说明:
Content-Type
属性为multipart/form-data
。application/json
格式发送数据,requests.post(url=url, files=data)
方法中一定要使用files变量来接收参数。requests.post()
方法的files
参数即可。multipart/form-data
数据格式的POST请求,多用于文件上传。
示例1:
"""
1.学习目标
掌握requests发送post请求
2.HTTP协议中post请求参数类型
x-www-form-data-urlencoded
raw_json格式
form-data
binary
3.form-data格式
使用files变量来接收数据,默认是使用form-data格式发送POST请求。
4.需求
http://httpbin.org/post
"""
import requests
files = {'file1': open('logo.png', 'rb')}
response = requests.post('http://127.0.0.1:9999/post', files=files)
print(response.text)
"""
接口返回结果:
{
"args": {},
"data": "",
**************************主要看这里
"files": {
"file1": "data:application/octet-stream;base64,/9j/4AAQSkZJRgABAQEASABIAAD/2wBDAAgGBgcGBQgHerOCtwJPHpvQjoYqxmHighE/wO1YuuATgOKt9wGMd653WXlhe2xbcpauJjePjQYuZTOOk032eaYj+GgOQ+E1QCBj4UxtunNUFIjBmm5P05oBjLv99qoKgEpW9PSu1b0tAglXYOr2/uN4rtp6ZZay53n81IAlauN/pRH/2Q=="
},
**************************
"form": {},
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Connection": "keep-alive",
"Content-Length": "394145",
**************************主要看这里
"Content-Type": "multipart/form-data; boundary=4efea05a2cf34e78a75508a1ebf000ec",
**************************
"Host": "127.0.0.1:9999",
"User-Agent": "python-requests/2.18.4"
},
"json": null,
"origin": "127.0.0.1",
"url": "http://127.0.0.1:9999/post"
}
"""
示例2:
我们也可以显式地设置文件名,文件类型和请求头:
import requests
# hangge.png 为图片名称
files = {'file1': ('hangge.png', open('logo.png', 'rb'), 'image/png', {'Expires': '0'})}
response = requests.post('http://127.0.0.1:9999/post', files=files)
print(response.text)
"""
接口返回结果:
{
"args": {},
"data": "",
**************************主要看这里
"files": {
"file1": "data:image/png;base64,/9j/4AAQSkZJRgABAQAAAQABAAD/2wBDAAgGBgcGBQgHBwcJCQgKDBQNDAsLDBkSEw8UHRofHh0aHBwgJC4nICIsIxwcKDcpLDAxNDQ0Hyc5PTgyPC4zNDL/2wBDAQkJCQwLDBgNDRgyIRwhMjIyMjIyMjIyMjIyacMkc0Yyc0UAf/Z"
},
**************************
"form": {},
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Connection": "keep-alive",
"Content-Length": "7063",
**************************主要看这里
"Content-Type": "multipart/form-data; boundary=382e06cba6834118a1f1efd0ea2c45e3",
**************************
"Host": "127.0.0.1:9999",
"User-Agent": "python-requests/2.18.4"
},
"json": null,
"origin": "127.0.0.1",
"url": "http://127.0.0.1:9999/post"
}
"""
示例3:多文件上传
有时我们需要在一个请求中同时发送多个文件,同样使用 files 参数传入一个数组即可:
import requests
files = [
('file1', ('1.png', open('logo.png', 'rb'), 'image/png')),
('file2', ('2.png', open('logo.png', 'rb'), 'image/png'))
]
response = requests.post('http://127.0.0.1:9999/post', files=files)
print(response.text)
"""
接口返回结果:
{
"args": {},
"data": "",
**************************主要看这里
"files": {
"file1": "data:image/png;base64,/9j/4AAQSkZJRgABAQAAAQABAAD/2wBDAAgGBgc3p8zdacMkc0Yyc0UAf/Z",
"file2": "data:image/png;base64,/9j/4AAQSkZJRgABAQAAAQABAAD/2wBDAAgGBgc3p8zdacMkc0Yyc0UAf/Z"
},
**************************
"form": {},
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Connection": "keep-alive",
"Content-Length": "14054",
**************************主要看这里
"Content-Type": "multipart/form-data; boundary=ba662835a2364b069c99ba3ffa56b974",
**************************
"Host": "127.0.0.1:9999",
"User-Agent": "python-requests/2.18.4"
},
"json": null,
"origin": "127.0.0.1",
"url": "http://127.0.0.1:9999/post"
}
"""
示例4:上传时附带其它参数
如果我们需要在上传文件的同时传递一些其它参数,也是可以的:
import requests
data = {
"name": "ABC.com",
"age": 100
}
files = [
('file1', ('1.png', open('logo.png', 'rb'), 'image/png')),
('file2', ('2.png', open('logo.png', 'rb'), 'image/png'))
]
response = requests.post('http://127.0.0.1:9999/post', data=data, files=files)
print(response.text)
"""
接口返回结果:
{
"args": {},
"data": "",
**************************主要看这里
"files": {
"file1": "data:image/png;base64,/9j/4AAQSkZJRgABAQAAAQABAAD/2wBDAAgGBgcGBQgHBwcJCQgKDBQNDA0Yyc0UAf/Z",
"file2": "data:image/png;base64,/9j/4AAQSkZJRgABAQAAAQABAAD/2wBDAAgGBgcGBQgHBwcJCQgKDBQNDA0Yyc0UAf/Z"
},
"form": {
"age": "100",
"name": "ABC.com"
},
**************************
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Connection": "keep-alive",
"Content-Length": "14233",
**************************主要看这里
"Content-Type": "multipart/form-data; boundary=6bdedbde2b48465683ef4e3451f7e015",
**************************
"Host": "127.0.0.1:9999",
"User-Agent": "python-requests/2.18.4"
},
"json": null,
"origin": "127.0.0.1",
"url": "http://127.0.0.1:9999/post"
}
"""
示例5:流式上传文件
有时我们需要上传一个非常大的文件(比如 1G 左右),如果像上面的方式直接使用 Requests 提交,可能会造成内存不足而崩溃。
所以发送大文件时还是建议将请求做成数据流。不过默认下 Requests 不支持流式上传,但有个第三方包 requests-toolbelt 是支持的(本质还是 multipart/form-data 上传)
在使用 requests-toolbelt 之前,我们首先通过 pip 进行安装:
# cmd命令行终端执行如下命令。
pip install requests-toolbelt
练习如下:
"""
1.学习目标
掌握requests发送post请求
2.HTTP协议中post请求参数类型
x-www-form-data-urlencoded
raw_json格式
form-data
binary
3.form-data格式
# 1.导入requests库,requests_toolbelt库
# 2.明确请求地址
# 3.明确请求参数
data = {} 字典格式
对请求参数加工(实例化)
m = MultipartEncoder(fields = data)
# 4.添加请求头
headers = {"Content_Type":m.content_type}
# 5.发送请求
requests.post(url= url,data=m,headers=headers)
4.需求
http://httpbin.org/post
"""
# 1.导入requests库
import requests
from requests_toolbelt import MultipartEncoder
# from requests_toolbelt.multipart.encoder import MultipartEncoder
# 2.明确请求地址
url = "http://httpbin.org/post"
# 3.明确请求参数
data = {
"username": "Jerry",
"password": "1232456",
"sex": "男"
}
# requests-toolbelt 还提供了个监视器(MultipartEncoderMonitor),
# 该监视器接受一个回调函数,我们可以在回调中实时跟踪进度。
# from requests_toolbelt import MultipartEncoderMonitor
# def my_callback(monitor):
# progress = (monitor.bytes_read / monitor.len) * 100
# print("\r 文件上传进度:%d%%(%d/%d)"
# % (progress, monitor.bytes_read, monitor.len), end=" ")
# m = MultipartEncoder(
# fields={'name': 'ABC.com', "age": '100',
# 'file1': ('1.png', open('logo.png', 'rb'), 'image/png'),
# 'file2': ('2.png', open('logo.png', 'rb'), 'image/png')}
# )
# 4.添加请求头和加工请求参数
# 加工请求参数----让每个参数都要带有边界
m = MultipartEncoder(fields=data)
# 添加请求头
headers = {"Content_Type": m.content_type}
# 4.发送请求
response = requests.post(url=url, data=m, headers=headers)
print(response.text)
"""
请求结果:
{
"args": {},
"data": "",
"files": {},
**************************主要看这里
"form": {
"username": "Jerry",
"password": "1232456",
"sex": "男"
},
**************************
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Content-Length": "192",
**************************主要看这里
"Content-Type": "multipart/form-data; boundary=351e0b73ea144694a9e9fdd1e10d2486",
**************************
"Host": "httpbin.org",
"User-Agent": "python-requests/2.18.4",
"X-Amzn-Trace-Id": "Root=1-5ff499ea-7ad42c4e6f056b44347b3c26"
},
"json": null,
"origin": "106.35.9.12",
"url": "http://httpbin.org/post"
}
"""
主要区别在于:
Binary只可以上传二进制数据,通常用来上传文件,由于没有键值,所以一次只能上传一个文件,而Form-data可以传多个。
Form-data既可以上传文件等二进制数据,也可以上传表单键值对。利用key-value对,可以分别对每个文件进行描述。