一、Ruquest模块基础
requests模块可以模拟浏览器发送多种请求方式
import requests
r = requests.get('https://api.github.com/events')
r = requests.post('http://httpbin.org/post', data = {'key':'value'})
r = requests.put('http://httpbin.org/put', data = {'key':'value'})
r = requests.delete('http://httpbin.org/delete')
r = requests.head('http://httpbin.org/get')
r = requests.options('http://httpbin.org/get')二、基于GET请求
1.基本请求
import requests
response=requests.get('http://dig.chouti.com/')
print(response.text)2.带参数的GET请求(params、headers)
import requests
# 请求方式
kwords = input('请输入关键字:>>>').strip()
# 使用urlencode可以解析中文
url = "https://www.baidu.com/s?"
params = {'wd': kwords}
# 请求头
baidu_headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36 chrome-extension",
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3',
}
# 发送请求
response = requests.get(url,
params=params,
headers=baidu_headers,
)
print(response.status_code) # 响应状态码
# print(response.text) # 返回的html
# 保存数据
with open('search1.html', 'w', encoding='utf-8') as f:
f.write(response.text)
print('保存成功')3.带参数的GET请求(cookies)
# 基于get请求携带参数cookies, 以访问GitHub邮箱示范
import requests
url = 'https://github.com/settings/emails'
cookies = {'user_session':"Osrktx19GnRnCYy0eVgixmEc637QGQDaZ7Upi30RI6uG-WWk"}
response = requests.get(url,cookies=cookies) #github对请求头没有什么限制，我们无需定制user-agent，对于其他网站可能还需要定制
print("[email protected]" in response.text) # True三、基于POST请求
1.get请求与post请求的区别
#GET请求
HTTP默认的请求方法就是GET
* 没有请求体
* 数据必须在1K之内！
* GET请求数据会暴露在浏览器的地址栏中
GET请求常用的操作：
1. 在浏览器的地址栏中直接给出URL，那么就一定是GET请求
2. 点击页面上的超链接也一定是GET请求
3. 提交表单时，表单默认使用GET请求，但可以设置为POST
#POST请求
(1). 数据不会出现在地址栏中
(2). 数据的大小没有上限
(3). 有请求体
(4). 请求体中如果存在中文，会使用URL编码！
#！！！requests.post()用法与requests.get()完全一致，特殊的是requests.post()有一个data参数，用来存放请求体数据2、发送post请求，模拟浏览器的登录行为
注意：
1、对于登录来说，应该输错用户名或密码然后分析抓包流程，如果输对了浏览器就跳转了，就没法分析了，抓不到包了，
2、要做登录的时候一定记得要把cookie先清除；
3、requests.session():中间的cookie都不用自己分析了，有用的没用的都给放进来了、
4、response.cookie.get_dict() #获取cookie
'''
一 目标站点分析
浏览器输入https://github.com/login
然后输入错误的账号密码，抓包
发现登录行为是post提交到：https://github.com/session
而且请求头包含cookie
而且请求体(form data)包含：
commit: Sign in
utf8: ✓
authenticity_token: NG74Lb4wcJn/emTlJS/A71Wk2WJioAwqgelWqBvPoqe0aD8tWsn8r+088bFUCOv7FY+MI9JmOy+ojP3pisz35w==ga_id: 804200945.1577712060
login: [email protected]
password: 123456
webauthn-support: supported
webauthn-iuvpaa-support: unsupported
required_field_55c0:
timestamp: 1577713659056
timestamp_secret: 65a511d2fd997e58b721ba390196372e6beb012c12a69d57156c9a2b20c267ea
二 流程分析
先GET：https://github.com/login拿到初始cookie与authenticity_token与timestamp_secret随机加密字符串
返回POST：https://github.com/session， 带上初始cookie，带上请求体（authenticity_token，用户名，密码等）
最后拿到登录cookie
ps：如果密码是密文形式，则可以先输错账号，输对密码，然后到浏览器中拿到加密后的密码，github的密码是明文
'''
import requests
import re
# 第一次请求
login_headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36 chrome-extension",
}
r1 = requests.get('https://github.com/login',headers=login_headers)
# 2)先解析获取authenticity_token与timestamp_secret, 通过re模块实现
authenticity_token=re.findall(r'',
r1.text,
re.S)[0] # re.S 代表全文检索
timestamp_secret = re.findall('',
r1.text,
re.S)[0]
print(authenticity_token)
# 第二次请求：带着初始cookie和TOKEN发送POST请求给登录页面，带上账号密码通过post请求访问https://github.com/session
form_data = {
'commit': 'Sign in',
'utf8': '✓',
'authenticity_token':authenticity_token,
'login': '[email protected]',
'password': 'qq7855993',
'webauthn-support': 'supported',
'webauthn-iuvpaa-support': 'unsupported',
'required_field_55c0':'',
'timestamp': 1577717454909,
'timestamp_secret': timestamp_secret
}
r2 = requests.post('https://github.com/session',
data=form_data,
cookies=r1.cookies,
)
login_cookie = r2.cookies
#第三次请求：以后的登录，拿着login_cookie就可以,比如访问一些个人配置
r4=requests.get('https://github.com/settings/emails',
cookies=login_cookie
)
print('[email protected]' in r4.text) #True四、Response属性
import requests
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'
}
response = requests.get('https://www.jianshu.com', headers=headers)
'''
# response属性:
'''
# 1.响应状态码(*******)
print(response.status_code)
# 2.响应文本(html文本)(*******)
# print(response.text)
# 3.响应的cookies(*******) 注意: 有些网站可以直接传入cookies=cookies对象，有些需要先转换成dict类型
print(type(response.cookies))
# 4.将cookies对象转成dict类型
print(type(response.cookies.get_dict()))
# 5.将cookies对象转成list类型
print(type(response.cookies.items()))
response = requests.get('https://www.baidu.com', headers=headers)
# 有些网站的默认编码不是utf-8，会出现中文错乱
# print(response.text)
# 5.响应编码格式(*******)
print(response.encoding) # ISO-8859-1
# 解决字符编码不对应导致的数据展示错乱问题
response.encoding = 'utf-8'
print(response.encoding) # utf-8
# print(response.text)
# 6.返回的二进制数据(*******)
# 一般用于爬取图片、视频、音频
print(response.content)
# 7.获取当前网站的url地址
print(response.url)
# 8.获取网站返回的json数据
# print(response.json())
import json
response = requests.get('https://landing.toutiao.com/api/pc/realtime_news/')
print(response.status_code)
# print(response.text)
print(json.loads(response.text)) # 解析json数据的第一种方式
print(response.json()) # 解析json数据的第二种方式
# 9.获取图片二进制流数据，并且保存到本地
response = requests.get('https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1577801361635&di=d9fb985650a3fbf2702cf1345fd45a3a&imgtype=0&src=http%3A%2F%2Finews.gtimg.com%2Fnewsapp_bt%2F0%2F8709968837%2F640')
print(response.status_code)
# 注意: 二进制数据有可能会很大
print(response.content)
# 10. iter_content： 将二进制数据装进一个迭代器中
with open('靓仔.jpg', 'wb') as f:
# f.write(response.content)
# iter_content： 将二进制数据装进一个迭代器中
for line in response.iter_content():
f.write(line)
五、高级用法
'''
requests高级: (了解)
'''
# 1、SSL (了解)
# 证书验证(大部分网站都是https)
# import requests
# response = requests.get('https://www.gaokao.com/gkpic/') #如果是ssl请求,首先检查证书是否合法,不合法则报错,程序终端
# #改进1:去掉报错,但是会报警告
# import requests
# response = requests.get('https://www.gaokao.com/gkpic/', verify=False) #不验证证书,报警告,返回200
# print(response.status_code)
# #改进2:去掉报错,并且去掉警报信息
# import requests
# import urllib3 # python内置的模块 ---》 requests的前身，urllib ---> urllib2 ---> urllib3
# urllib3.disable_warnings() # 关闭警告
# response = requests.get('https://www.gaokao.com/gkpic/', verify=False)
# print(response.status_code)
# #改进3:加上证书
# #很多网站都是https,但是不用证书也可以访问,大多数情况都是可以携带也可以不携带证书
# #知乎\百度等都是可带可不带
# #有硬性要求的,则必须带，比如对于定向的用户,拿到证书后才有权限访问某个特定网站
# import requests
# response=requests.get('https://www.12306.cn',
# # cert=(证书的文件路径)，证书是必须真实存在的;
# cert=('/path/server.crt',
# '/path/key'))
# print(response.status_code)
# 2、使用代理
# 官网链接: http://docs.python-requests.org/en/master/user/advanced/#proxies
# 代理设置:先发送请求给代理,然后由代理帮忙发送(封ip是常见的事情)
# import requests
#
# proxies = {
# # 'http': '192.168.11.11:9743', # 带用户名密码的代理,@符号前是用户名与密码
# # 'http': 'http://localhost:9743',
# 'https': '163.204.242.181:9999',
# }
#
# response = requests.get('https://www.baidu.com/',
# # proxies: = 代理字典
# proxies=proxies)
#
# print(response.status_code)
# #支持socks代理,安装:pip install requests[socks]
# import requests
# proxies = {
# 'http': 'socks5://user:pass@host:port',
# 'https': 'socks5://user:pass@host:port'
# }
# respone=requests.get('https://www.12306.cn',
# proxies=proxies)
#
# print(respone.status_code)
# 3超时设置
#两种超时:float or tuple
#timeout=0.1 #代表接收数据的超时时间
#timeout=(0.1,0.2)#0.1代表链接超时 0.2代表接收数据的超时时间
# import requests
# try:
# response = requests.get('https://www.baidu.com', timeout=0.0001)
#
# except Exception as e:
# print(e)
# 6、上传文件
import requests
response = requests.post(
'http://httpbin.org/post',
files={
'file': open(r'F:\程序\day100\靓仔.jpg', 'rb')
}
)
print(response.status_code)