Python网络爬虫——获取cookie的方法

一、无需登录的网站

1.手动获取

1.通过浏览器打开网站
2.网页右键检查或F12
3.右上找到网络或network
4.在xhr下，重新刷新网页
5.左键名称下的链接，右侧弹出中headers（标头）中存在cookie

2.requset获取

import requests

session = requests.session()
#province省份，creditcode统一社会信用代码，company市场主体(企业名字)，cpmc地理标志(特产)，
url_search='https://dlbzsl.hizhuanli.cn:8888/Logo/Result?cpmc='+'五常大米'+'&company=&creditcode='

cookies = session.get(url_search).cookies.get_dict()
cookie = 'ASP.NET_SessionId'+'='+cookies['ASP.NET_SessionId']
print(cookies)
print(cookie)

二、需要登录的网站

import requests

url = 'https://www.processon.com/login'
login_email = '[email protected]'
login_password = 'ZZZ0'
# 创建一个session,作用会自动保存cookie
session = requests.session()
data = {
    'login_email': login_email,
    'login_password': login_password
}
# 使用session发起post请求来获取登录后的cookie,cookie已经存在session中
response = session.post(url = url,data=data)

# 用session给个人主页发送请求，因为session中已经有cookie了
index_url = 'https://www.processon.com/diagrams'
index_page = session.get(url=index_url).text
print(index_page)

参考链接：

爬虫——cookie模拟登陆

https://blog.csdn.net/gets_s/article/details/115839687

爬虫中获取cookie的方式 - 程序员一学徒 - 博客园 (cnblogs.com)

https://blog.csdn.net/wzyaiwl/article/details/104741543