python-requests模拟浏览器登录实战

参考文章：模拟登录https://zhuanlan.zhihu.com/p/39974150

一、获取curl

打开F12，使用错误的账号密码登录，复制curl

二、将curl转化成各种语言的代码实现

使用curl转化网站：https://curlconverter.com/

三、在vscode里运行python代码

配置vscode中的python path，使用F5调试

四、好用的函数片段

重点在于使用python中的正则表达式库 re 来提取响应头里我们所需的参数/字段
通过设定好 pattern 并使用 re.findall(pat, response.text) 实现

s = requests.session()
s.headers.update(headers)
def get_token():
    url = 'https://github.com/login'
    response = s.get(url)
    # value="(.*?)"中的括号意思为“只保留括号里的内容”
    pat = 'name="authenticity_token" value="(.*?)"'
    print(re.findall(pat, response.text))
    # 返回string中所有与pattern匹配的全部字符串,返回形式为数组。
    # 寻找整个response.text中满足pat的字符串
    authenticity_token = re.findall(pat, response.text)[0]
    return authenticity_token

五、基础知识补充

1. Requests：
   优点：速度快，可以增加自己对cookies登陆的理解
   缺点：需要花时间寻找相关参数

2. 删除某网站的cookie
   
   

3. Cookie【服务端生成、客户端存储、客户端发送】
   用于告知服务端前后两个请求是否来自同一浏览器
   一般浏览器的 cookie 都是默认储存的，当关闭浏览器结束这个会话的时候，这个 cookie 也就会被删除

4. Session【服务端生成并存储、客户端在Cookie中存储session的ID、客户端发送Cookie】
   session 是基于 cookie 实现的，sessionId / JSESSIONID「tomcat的对sessionid的叫法」 会被存储到客户端的cookie 中，客户端发送请求时携带含有sessionId 的cookie 。

5. Cookie 和 Session 的区别

• 安全性（存储位置不同）： Session 比 Cookie 安全，Session 是存储在服务器端的，Cookie 是存储在客户端的。
• 存取值的类型不同：Cookie 只支持存字符串数据，想要设置其他类型的数据，需要将其转换成字符串，Session 可以存任意数据类型。
• 有效期不同： Cookie 可设置为长时间保持，比如我们经常使用的默认登录功能，Session 一般失效时间较短，客户端关闭（默认情况下）或者 Session 超时都会失效。
• 存储大小不同： 单个 Cookie 保存的数据不能超过 4K，Session 可存储数据远高于 Cookie，但是当访问量过多，会占用过多的服务器资源。