这几天在学习模拟登陆，而登陆离不开http中Cookie技术
Cookie
由于HTTP是一种无状态的协议，服务器单从网络连接上无从知道客户身份。怎么办呢？就给客户端们颁发一个通行证吧，每人一个，无论谁访问都必须携带自己通行证。这样服务器就能从通行证上确认客户身份了。这就是Cookie的工作原理。
分析网页数据
我们用Chrome来打开豆瓣（F12开发者工具），先输入一个错误的账户信息来观察浏览器是如何发送请求的
从浏览器的请求可以发现几个关键的信息
- 登录的 URL 地址是 https://accounts.douban.com/login
- 登录需要提供的表单数据有7个：
- source:index_nav
- redir:https://www.douban.com/
- form_email:[email protected]
- form_password:123
- captcha-solution:errfdf
- captcha-id:lWtHfckzUAF4PoAtFtQdsyZy:en
- login:登录
- 获取验证码的URL地址是 https://www.douban.com/misc/captcha?id=gTpnLfXlpVM2vIB2xlT09deP:en&size=s
我们还需要获取验证码元素，我们在开发者工具中切换到Elements一栏
从中我们得到了验证码元素在img标签内
img id="captcha_image"
最后我们还需要captcha-id元素，Ctrl+U打开页面源码（在登陆页面打开），Ctrl+F搜索captcha-id
好了，到了这一步所需的数据全部获取完毕
实战应用
登陆所需要的模块
- Requests
- BeautifulSoup4
pip install requests
pip install BeautifulSoup4
http.cookiejar 模块可用于自动处理HTTP Cookie，LWPCookieJar 对象就是对 cookies 的封装，它支持把 cookies 保存到文件以及从文件中加载。
而 session 对象 提供了 Cookie 的持久化，连接池功能，可以通过 session 对象发送请求
首先从cookies 文件中加载 cookie信息，因为首次运行还没有cookie，会出现 LoadError 异常。
import requests
from http import cookiejar
session = requests.session()
session.cookies = cookiejar.LWPCookieJar(filename='cookies')
try:
print(session.cookies)
session.cookies.load(ignore_discard=True)
except LoadError:
print('no cookie')
获取验证码
def get_captcha():
'''
把验证码图片保存到当前目录，手动识别验证码
:return:
'''
r = requests.post(download_url, data=data, headers=headers)
page = r.text
soup = BeautifulSoup(page, 'html.parser')
image = soup.find('img', attrs={'id': 'captcha_image'}).get('src')
s = session.get(captcha_url, headers=headers)
with open('captcha.jpg', 'wb') as f:
f.write(s.content)
captcha = input('Please input the captcha: ')
captcha_id = soup.find('input', {'type': 'hidden', 'name': 'captcha-id' }).get('value')
return captcha, captcha_id
登陆
def login():
captcha, captcha_id = get_captcha()
# 增加表数据
data['captcha-solution'] = captcha
data['captcha-id'] = captcha_id
response = session.post(download_url, data=data, headers=headers)
page = response.text
print(page)
session.cookies.save()
第一次登陆后session 会自动把 服务端的返回的cookie 信息填充到 session.cookies 对象中，下次登陆时就不需要再输入账号密码
完整代码
欢迎访问我的博客Treehl的博客