python爬虫系列——开始入土(三)

目录

  • 验证码
  • cookie
  • 代理

验证码

验证码和爬虫之间的爱恨情仇

反爬机制:验证码,识别验证码图片中的数据,用于模拟登陆操作。

识别验证码的操作:

  • 人工肉眼操作
  • tesserocr库/tesseract库
  • 第三方自动识别

cookie

http/https协议特性:无状态
cookie:用来让服务器端记录客户端的相关状态
cookie来源:模拟登录post请求后,由客户端创建
如果请求过程中产生了cookie,则该cookie会被自动存储、携带在该session对象中。

python使用session发送post请求

session.post(url=url, headers=headers, data=data)

关于cookie可以参考:Cookie、Session、AJAX、JSON

代理

代理: 破解封IP这种类型的反爬机制

作用:

  • 突破自身IP访问限制
  • 隐藏自身真是IP

可以参考:爬虫IP代理池代码记录

代理IP的类型:

  • http
  • https

代理IP的匿名度:

  • 透明:服务器知道该次请求使用了代理,也知道真实请求的IP
  • 匿名:知道了使用代理,不知道真实IP
  • 高匿:不知道使用了代理,更不知道真实的IP

你可能感兴趣的:(python,python,爬虫)