听说你的爬虫被封了？
目录
前言
一、为什么会被封IP？
二、代理IP是什么？
三、代理IP的分类
1. 公共代理IP
2. 私人代理IP
四、使用代理IP的方法
1. 使用第三方库
2. 手动设置代理IP
五、常见问题及解决方法
1. 代理IP不稳定
2. 代理IP被封
六、代码实例
总结
前言
当我们使用爬虫程序时，有可能会遇到因为大量访问网站而被网站封锁IP的情况。这时，我们可以使用代理IP来解决这个问题。下面将详细介绍如何使用代理IP来避免被封IP的情况，并附上代码实例。
一、为什么会被封IP？
在访问网站时，网站会记录我们的IP地址，如果我们的访问频率过高或者访问方式不符合网站的规则，网站可能会把我们的IP地址加入黑名单，导致无法正常访问。
二、代理IP是什么？
代理IP是一种通过第三方IP地址来访问目标服务器的方法。使用代理IP可以隐藏我们真实的IP地址，使网站无法识别我们的真实身份，从而达到避免被封IP的目的。
三、代理IP的分类
1. 公共代理IP
公共代理IP是指由第三方提供的免费代理IP。由于免费，所以公共代理IP的质量和稳定性都不太可靠。
2. 私人代理IP
私人代理IP是指我们自己购买或者租用的代理IP，由于是付费的，所以私人代理IP的质量和稳定性会比较高。
四、使用代理IP的方法
1. 使用第三方库
使用第三方库可以方便的实现代理IP的功能，常用的有requests、urllib等库。
例如，使用requests库实现代理IP的代码如下：
import requests
proxies = {
'http':'http://your_proxy_ip:your_proxy_port',
'https':'http://your_proxy_ip:your_proxy_port'
}
url = 'https://www.example.com'
response = requests.get(url, proxies=proxies)
print(response.text)2. 手动设置代理IP
手动设置代理IP的方法比较麻烦，但是可以更加灵活地控制代理IP的使用。
例如，使用urllib库手动设置代理IP的代码如下：
from urllib.request import ProxyHandler, build_opener
proxy = 'http://your_proxy_ip:your_proxy_port'
proxy_handler = ProxyHandler({'http': proxy, 'https': proxy})
opener = build_opener(proxy_handler)
response = opener.open('https://www.example.com')
print(response.read())如果想要随机使用代理IP，可以将代理IP存储在一个列表中，然后使用random模块随机选择一个代理IP使用。
五、常见问题及解决方法
1. 代理IP不稳定
代理IP的质量和稳定性是影响爬虫效果的重要因素，所以我们需要选择好质量和稳定性都比较高的代理IP，或者使用多个代理IP进行轮流访问。
2. 代理IP被封
使用代理IP的目的是避免被封IP，但是如果使用的代理IP被网站封锁了，那么我们还是无法正常访问网站。如果遇到这种情况，可以更换代理IP或者更换爬虫的访问方式。
六、代码实例
下面通过一个简单的实例来演示如何使用代理IP避免被封IP的情况。
import random
import requests
from bs4 import BeautifulSoup
# 代理IP列表
proxy_list = [
'http://ip:port',
'http://ip:port',
'http://ip:port',
'http://ip:port',
'http://ip:port',
'http://ip:port',
'http://ip:port',
]
# 随机选择一个代理IP
proxy = {'http': random.choice(proxy_list)}
url = 'https://www.example.com'
# 使用代理IP访问网站
response = requests.get(url, proxies=proxy)
html = response.text
# 解析网页内容
soup = BeautifulSoup(html, 'html.parser')
title = soup.title.string
print(title)在上面的代码中，我们定义了一个包含多个代理IP的列表proxy_list，然后使用random模块随机选择一个代理IP进行访问。最后使用BeautifulSoup解析网页内容，并输出网页标题。
总结
由于免费代理IP的稳定性不太可靠，所以可能会出现访问失败的情况。如果遇到这种情况，可以尝试更换代理IP或者增加访问间隔时间，或者使用付费代理，以便提高ip的可用性和我们爬虫的效率。