requests模块中使用代理proxy发送请求

1. 代理概述
  • 玩爬虫为什么我们不能使用一个固定IP发送请求

    • 你使用一个固定IP发送每秒向对方服务器发送10几个请求,对方认为这样操作不是人干的, 就把你IP给封了
    • 服务器端的人可以根据你IP很快锁定你, 要求你对这种窃取行为赔偿.
  • 代理requests模块中使用代理proxy发送请求_第1张图片

    • [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-qMPq8I3z-1645505402609)(https://www.cnblogs.com/ddop1/p/images/02.png)]
  • 正向代理与反向代理requests模块中使用代理proxy发送请求_第2张图片

    • [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-szcHu8Oq-1645505402610)(https://www.cnblogs.com/ddop1/p/images/03.png)]
    • [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-CQTwLKzM-1645505402610)(https://www.cnblogs.com/ddop1/p/images/04.png)]
  • 正向代理与反向代理的区别

    • 反向代理:
      • 服务器端知道代理的存在,反向代理是为了保护服务器或负责负载均衡
      • 但是客户端不知道代理的存在的
    • 正向代理:
      • 客户端知道代理的存在,正向代理是为保护客户端,防止追究责任.
      • 但是服务端不知道真实的客户端
2. 如何在requests模块中使用代理
  • 在requests模块中使用代理格式(重点)

       proxies = {
          "http":"http://ip:端口号"
          "https":"https://ip:端口号"
       }
       request.get(url, proxies=proxies)
    
    
  • 使用需要账号和密码的代理

       proxies = {
          "http":"http://username:password@ip:端口号"
          "https": "https://username:password@ip:端口号"
       }
       request.get(url, proxies=proxies)
    
    
  • 代码

          import requests
    
          # 使用代理获取百度首页
          headers = {
              "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"
          }
          #  定义代理的字典
          proxies = {
              # "http":"http://14.118.252.64:6666"
              # "https":"https://114.99.30.126:18118"
              "http": "http://121.228.8.93:8118"
          }
    
          # 使用代理给服务器发送请求
          response = requests.get("https://www.baidu.com", proxies=proxies, headers=headers)
          # 获取状态
          print(response.status_code)
          print(response.content.decode())
    
    
3. 代理IP的分类

根据代理ip的匿名程度,代理IP可以分为下面四类:

  • 透明代理(Transparent Proxy):透明代理虽然可以直接“隐藏”你的IP地址,但是还是可以查到你是谁。

  • 匿名代理(Anonymous Proxy):使用匿名代理,别人只能知道你用了代理,无法知道你是谁。

  • 高匿代理(Elite proxy或High Anonymity Proxy):高匿代理让别人根本无法发现你是在用代理,所以是最好的选择。

在使用的使用,毫无疑问使用高匿代理效果最好

从请求使用的协议可以分为:

  • http代理
  • https代理
  • socket代理等

不同分类的代理,在使用的时候需要根据抓取网站的协议来选择

4. 代理IP使用的注意点
  • 反反爬

    使用代理ip是非常必要的一种反反爬的方式

    但是即使使用了代理ip,对方服务器任然会有很多的方式来检测我们是否是一个爬虫,比如:

    • 一段时间内,检测IP访问的频率,访问太多频繁会屏蔽

    • 检查Cookie,User-Agent,Referer等header参数,若没有则屏蔽

    • 服务方购买所有代理提供商,加入到反爬虫数据库里,若检测是代理则屏蔽

      所以更好的方式在使用代理ip的时候使用随机的方式进行选择使用,不要每次都用一个代理ip

  • 代理ip池的更新

    购买的代理ip很多时候大部分(超过60%)可能都没办法使用,这个时候就需要通过程序去检测哪些可用,把不能用的删除掉。

  • 小结

  • 使用代理的好处:

    • 让目标服务器以为不是同一个客户端在请求,防止因为同一个ip发送请求过多而被反爬
    • 防止我们的真实地址被泄露,防止被追究,保护自己
  • 如何在requests中使用代理

    • request.get(url, proxies=proxies)

    转载https://www.cnblogs.com/ddop1/p/9468796.html
    requests模块中使用代理proxy发送请求_第3张图片

你可能感兴趣的:(爬虫,代理模式,http,https,爬虫,python)