爬虫-获取登陆可见页面技术小结-三种方式的比较

方式一,session类的实例化对象

  • session类实例化,得到一个对象
  • 对象发起post请求,登陆网站
  • 成功登陆,会获得网站写入的cookie信息
  • 对象发起get请求,本次请求会自动的带上cookie数据

方式二,cookie数据添加到请求头中

  • 请求头添加cookies数据,键为cookie,值为一长串字符串
  • requests.get(url, headers=请求头)

方式三,发请求是带入cookies参数,值为字典

  • request.get(url, headers=请求头, cookies=字典)

关注这个字典的键值对是什么

小结

上面三种做法

核心都是在发起请求的时候,带上cookie给后端验证

通过了验证,就可以得到想要的数据

你可能感兴趣的:(爬虫-获取登陆可见页面技术小结-三种方式的比较)