requests模块-代理proxies使用

了解代理以及proxy代理参数的使用

代理是什么？

• 代理是一种中间服务器，它在客户端和目标服务器之间充当桥梁的角色。
• 代理服务器帮助转发客户端的请求，并将目标服务器的响应返回给客户端。

代理ip是什么？

• 代理ip是一个特定的IP地址，指向的是代理服务器的位置。
• 通过设置proxy代理参数并指定代理ip，客户端的请求会被发送到代理服务器，而不是直接访问目标服务器。

proxy代理参数的作用

• 使用proxy代理参数，我们可以告诉客户端使用特定的代理服务器进行网络请求。
• 这样，我们的真实身份和位置就得到了隐藏，提高了网络安全性和隐私保护。

代理的使用场景

• 数据采集和网络爬虫：代理可帮助在多个网站之间轮流采集数据，防止被封IP。
• 访问受限制的网站：代理允许我们绕过一些地区或网络限制，访问被屏蔽的内容。
• 提高安全性：代理可过滤恶意内容，保护客户端免受恶意攻击。

总结

代理ip和proxy代理参数的使用让我们可以在网络请求中添加中间层，隐藏真实身份，提高隐私保护和安全性。在数据采集、访问受限网站和提高网络安全性等方面都有重要应用。

正向代理和反向代理的区别

1. 角度区分：

   • 正向代理是为浏览器或客户端（发送请求的一方）转发请求的代理服务器。
   • 反向代理是为最终处理请求的服务器转发请求的代理服务器。

2. 正向代理：

   • 正向代理为浏览器或客户端转发请求，客户端知道最终处理请求的服务器的真实ip地址，例如VPN。

   比喻解释：正向代理就像是你请了一个中间人（代理）帮你买东西。你告诉中间人你想要买什么东西，中间人知道你的需求，并帮你去购买。但是最后拿到的东西还是由中间人交给你，你知道最终是中间人帮你买的。

3. 反向代理：

   • 反向代理不为浏览器或客户端转发请求，而是为最终处理请求的服务器转发请求。

   • 客户端不知道服务器的真实地址，请求发送给反向代理服务器，然后由反向代理服务器转发给最终处理请求的服务器，例如nginx。

     比喻解释: 反向代理就像是商店里的前台售货员。你去商店购物时，不知道实际上是售货员在背后帮你取货，然后将货物交给你。售货员充当了中间人的角色，隐藏了货物的实际来源。

在正向代理中，代理服务器位于客户端和目标服务器之间，隐藏客户端的真实身份，客户端通过代理服务器发送请求，代理服务器再将请求转发给目标服务器。而在反向代理中，代理服务器位于目标服务器和客户端之间，隐藏目标服务器的真实身份，客户端发送请求到反向代理服务器，然后反向代理服务器再将请求转发给目标服务器。这样的不同角色和转发方式，使得正向代理和反向代理在应用场景上有所不同。

代理ip（代理服务器）的分类

1. 根据代理ip的匿名程度，代理IP可以分为下面三类：

   • 透明代理(Transparent Proxy)：透明代理虽然可以直接“隐藏”你的IP地址，但是还是可以查到你是谁。目标服务器接收到的请求头如下：

     # 这段代码是用于获取客户端的真实 IP 地址的方法，但由于可能存在代理服务器，需要进行一些检查
     
     # 获取客户端 IP 地址
     REMOTE_ADDR = Proxy IP
     
     # 检查是否存在 HTTP_VIA 头，该头字段常用于指示请求是否经过代理服务器
     HTTP_VIA = Proxy IP
     
     # 检查是否存在 HTTP_X_FORWARDED_FOR 头，该头字段常用于表示客户端真实 IP 地址，但也可以被伪造
     HTTP_X_FORWARDED_FOR = Your IP
     
     

   • 匿名代理(Anonymous Proxy)：使用匿名代理，别人只能知道你用了代理，无法知道你是谁。目标服务器接收到的请求头如下：

     # 示例代码块：使用匿名代理隐藏客户端真实IP地址
     
     # 这个示例代码块模拟了在使用匿名代理时，请求头信息中显示的内容。
     # 匿名代理隐藏了客户端的真实IP地址，将其显示为代理服务器的IP地址，提高了用户的隐私保护。
     
     # 请求头信息示例：
     # 客户端的真实IP地址被隐藏，显示为代理服务器的IP地址
     REMOTE_ADDR = 代理IP
     
     # HTTP_VIA头字段表示请求经过了代理服务器，显示为代理服务器的IP地址
     HTTP_VIA = 代理IP
     
     # HTTP_X_FORWARDED_FOR头字段表示客户端的真实IP地址，但在匿名代理中仍然显示为代理服务器的IP地址
     HTTP_X_FORWARDED_FOR = 代理IP
     
     

   • 高匿代理(Elite proxy或High Anonymity Proxy)：高匿代理让别人根本无法发现你是在用代理，所以是最好的选择。毫无疑问使用高匿代理效果最好。目标服务器接收到的请求头如下：

     # 示例代码块：使用高匿代理隐藏客户端真实IP地址
     
     # 这个示例代码块模拟了在使用高匿代理时，请求头信息中显示的内容。
     # 高匿代理完全隐藏了客户端的真实IP地址和使用代理的事实，保护隐私最好的选择。
     
     # 请求头信息示例：
     # 客户端的真实IP地址被隐藏，显示为代理服务器的IP地址
     REMOTE_ADDR = 代理IP
     
     # HTTP_VIA头字段没有显示代理服务器的IP地址，表示请求未经过代理服务器
     HTTP_VIA = not determined
     
     # HTTP_X_FORWARDED_FOR头字段没有显示客户端真实IP地址，表示无法得知客户端的真实身份
     HTTP_X_FORWARDED_FOR = not determined
     
     

2. 根据网站所使用的协议不同，可以选择相应协议的代理服务。以下是不同协议的代理服务及其特点：

   • HTTP代理： 适用于访问使用HTTP协议的网站。
   • HTTPS代理： 适用于访问使用HTTPS协议的网站，提供更高的安全性。
   • SOCKS隧道代理（如SOCKS 5代理）：
     1. SOCKS代理仅传递数据包，不关心具体的应用协议（如FTP、HTTP和HTTPS等）。
     2. 相对于HTTP和HTTPS代理，SOCKS代理通常耗时较少。
     3. SOCKS代理可转发HTTP和HTTPS请求，具有更强的灵活性。

   选择合适的代理服务取决于所访问网站的协议类型和性能要求。

proxies代理参数的使用

为了让服务器以为不是同一个客户端在请求；为了防止频繁向一个域名发送请求被封ip，所以我们需要使用代理ip；那么我们接下来要学习requests模块是如何使用代理ip的

• 用法：

  response = requests.get(url, proxies=proxies)
  

• proxies的形式：字典

• 例如：

  proxies = { 
      "http": "http://12.34.56.79:9527", 
      "https": "https://12.34.56.79:9527", 
  }
  

• 注意：如果proxies字典中包含有多个键值对，发送请求时将按照url地址的协议来选择使用相应的代理ip