爬虫更换ip地址

你可以通过以下两种方法来更换爬虫的IP地址：

1. 使用代理IP：

import requests # 代理IP列表 proxies = { 'http': 'http://ip:port', 'https': 'http://ip:port' } # 请求头 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3' } # 爬虫程序 def spider(): url = 'http://example.com' response = requests.get(url=url, headers=headers, proxies=proxies) print(response.text) if __name__ == '__main__': spider()

在字典中，将和的值替换为可用的代理IP地址和端口号即可。proxieshttphttps

1. 使用Tor网络： 使用Tor网络可以实现匿名爬取网页数据，具体步骤如下：

• 安装Tor软件并启动。
• 安装库和库。requestsstem
• 编写以下代码：

import requests from stem import Signal from stem.control import Controller # 请求头 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3' } # 爬虫程序 def spider(): url = 'http://example.com' with Controller.from_port(port=9051) as controller: controller.authenticate() controller.signal(Signal.NEWNYM) session = requests.session() session.proxies = { 'http': 'socks5://localhost:9050', 'https': 'socks5://localhost:9050' } response = session.get(url=url, headers=headers) print(response.text) if __name__ == '__main__': spider()

在这个例子中，我们使用了Tor网络来更换IP地址。首先，确保你已经安装了Tor软件并启动。然后，安装库和库。在代码中，我们使用库来控制Tor网络。在函数中，我们通过发送信号来更换IP地址。然后，我们使用库发送请求，并将代理设置为Tor网络的本地地址和端口号。requestsstemstemspiderNEWNYMrequests