免责声明:
本篇博文所涉及的内容仅供学习,请勿将其用于非法用途!!!
上篇博客我们搭建的IP池是将其放在了 p i c k l e pickle pickle文件里面,通过pickle库直接将可用的IP列表以二进制形式直接写入文件,用的时候再读取,也是挺方便的。不过,维护起来就不是那么容易了,因为有些IP有时候可以用,有时候不可以用,我们不能只通过一次测试就判断它能不能用,多给次机会嘛。所以,我们就是用了数据库。
本篇我们就使用MySQL数据库来维护我们上篇博客所搭建的IP池。
为了方便写SQL代码及实时关注数据库的信息,我们先配置一下PyCharm。
找到PyCharm右边栏的Database,点击它,然后它的界面会弹出来,点击+号,选择数据库。
通过这个界面就可以配置MySQL了,这里有几个填写的我已经作了标注,简单介绍一下:
Name:本次的配置的名字,这里我填的是spider,也可以使用默认名@localhost;
Host:数据库的IP地址,因为我的MySQL在本地,所以这里我填的就是localhost;
User:数据库的用户名;
Password:数据库的密码;
Database:数据库的名字,我这里提前建了一个名为spider的数据库;
URL:这里我们在后面加上?serverTimezone=UTC,否则的话等会儿我们连接时会出现Server returns invalid timezone. Go to ‘Advanced’ tab and set ‘serverTimezone’ property manually. 错误,或者按照错误提示,去Advanced选项配置一下Advanced。
配置完后就点击Test Connection按钮,如果提示缺少驱动文件,直接在弹出的对话框点击下载即可,不出意外的话,就会在下面出现连接成功的信息。
插入数据后,按图示操作刷新一下,然后双击数据表,就可以看到数据表中的信息了,美滋滋ヾ(@▽@)ノ。
这里我们通过pymysql库来操作MySQL数据库,我的数据库版本是8.0.16,还是去年安装的,这里不再叙述其安装步骤了,问问度娘。
维护我们代理IP池的大致流程就是:先建立一个数据表ipproxy,包含有ip字段、score字段,因为有些IP有时候可以用,有时候不可以,所以这里对每个要存入数据库的IP设置一个分数,我这里设置的最高分是5,也就是质量最高。如果我们在使用过程中发现IP不能用了,就将其分数减1;如果可以用,且分数小于5,就加1,然后定期清理分数为0的IP。
函数名 | 功能 |
---|---|
test_newip(ip_, url, ip_ok) | 测试新爬取的IP,参数 i p _ ip\_ ip_为新爬取的IP列表, u r l url url为要测试网站, i p _ o k ip\_ok ip_ok为返回的结果列表,格式是 ( i p , s c o r e ) (ip,score) (ip,score) |
test_mysqlip(ip_, url, ip_ok) | 测试数据库里的IP,参数 i p _ ip\_ ip_为数据库里的IP列表,格式是 ( i p , s c o r e ) (ip,score) (ip,score), u r l url url为要测试网站, i p _ o k ip\_ok ip_ok为返回的结果列表,格式同 i p _ ip\_ ip_$ |
get_mysqlip() | 获取数据库里的IP |
update_ipscore(ip_list) | 更新数据库里IP的分数 |
delete_ip() | 删除数据库里分数为0的IP |
delete_ideticalip() | 去重处理,将重复的IP删除,只保留数据库中第一个 |
insert_ip(ip_list) | 将测试后的新爬取的IP保存到数据库 |
insret_mysqlip(urls) | IP爬取、测试、插入一体化函数 |
update_mysqlip(urls) | IP更新、去零、去重一体化函数 |
爬取代理IP的代码在上篇博客就已经介绍,这里只贴出了增加的数据库操作代码及修改后的IP测试代码。
import pymysql
import requests
from bs4 import BeautifulSoup
import pickle
import aiohttp
import asyncio
import time
import random
async def test_newip(ip_, url, ip_ok):
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '
'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'}
conn = aiohttp.TCPConnector(verify_ssl=False)
async with aiohttp.ClientSession(connector=conn) as session:
print('正在测试ip: ' + ip_)
try:
proxy_ip = 'http://' + ip_
async with session.get(url=url, headers=headers, proxy=proxy_ip, timeout=15) as response:
if response.status == 200:
print('代理可用: ' + ip_)
ip_ok.append((ip_, 5))
else:
print('请求响应码不合法 ' + ip_)
except:
ip_ok.append((ip_, 4))
print('代理请求失败', ip_)
async def test_mysqlip(ip_, url, ip_ok):
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '
'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'}
conn = aiohttp.TCPConnector(verify_ssl=False)
async with aiohttp.ClientSession(connector=conn) as session:
print('正在测试ip: ' + ip_[0])
try:
proxy_ip = 'http://' + ip_[0]
async with session.get(url=url, headers=headers, proxy=proxy_ip, timeout=15) as response:
if response.status == 200:
print('ip可用: ' + ip_[0])
new_score = 5 if ip_[1] == 5 else ip_[1] + 1
ip_ok.append((ip_[0], new_score))
else:
print('请求响应码不合法 ' + ip_[0])
except:
new_score = 0 if ip_[1] == 0 else ip_[1] - 1
ip_ok.append((ip_[0], new_score))
print('代理请求失败', ip_[0])
def get_mysqlip():
db = pymysql.connect(host='localhost', port=3306, user='用户名', password='密码',
database='数据库名', charset='utf8')
cursor = db.cursor()
sql = 'select ip, score from ipproxy'
try:
cursor.execute(sql)
mysql_ip = list(cursor.fetchall())
return mysql_ip
except Exception as err:
print('查询错误!!!')
print(err)
def update_ipscore(ip_list):
db = pymysql.connect(host='localhost', port=3306, user='用户名', password='密码',
database='数据库名', charset='utf8')
cursor = db.cursor()
for ip_ in ip_list:
sql = 'update ipproxy set score=%s where ip=%s'
cursor.execute(sql, (ip_[1], ip_[0]))
db.commit()
cursor.close()
db.close()
def delete_ip():
db = pymysql.connect(host='localhost', port=3306, user='用户名', password='密码',
database='数据库名', charset='utf8')
cursor = db.cursor()
sql = 'delete from ipproxy where score=0'
try:
cursor.execute(sql)
except Exception as err:
print('删除错误!!!')
print(err)
db.commit()
cursor.close()
db.close()
def delete_ideticalip():
db = pymysql.connect(host='localhost', port=3306, user='用户名', password='密码',
database='数据库名', charset='utf8')
cursor = db.cursor()
sql = 'delete from ipproxy where ip in (select ip from (select ip from ipproxy group by ip having count(*)>1) s1)' \
'and id not in (select id from (select id from ipproxy group by ip having count(*)>1) s2)'
try:
cursor.execute(sql)
except Exception as err:
print('删除错误!!!')
print(err)
db.commit()
cursor.close()
db.close()
def insert_ip(ip_list):
# 新爬取的ip直接插入数据库
db = pymysql.connect(host='localhost', port=3306, user='用户名', password='密码',
database='数据库名', charset='utf8')
cursor = db.cursor()
sql = 'create table if not exists ipproxy(' \
'id int not null primary key auto_increment, ' \
'ip char(21) not null , ' \
'score int not null ) default charset utf8'
cursor.execute(sql)
try:
sql = 'insert into ipproxy (ip, score) values (%s, %s)'
cursor.executemany(sql, ip_list)
# cursor.execute('drop table ipproxy')
except Exception as err:
print('插入错误!!!')
print(err)
db.commit()
cursor.close()
db.close()
def insret_mysqlip(urls):
ip_list1 = get_66ip()
ip_list2 = get_kaixinip()
ip_list3 = get_goubanjiaip()
ip_list = list(set(ip_list1 + ip_list2 + ip_list3))
print('已做去重处理!')
ip_ok = []
print('开始测试新爬取的ip: ')
try:
loop = asyncio.get_event_loop()
for i in range(0, len(ip_list), 10):
proxies_ip = ip_list[i: i + 10]
tasks = [test_newip(proxy_ip, random.choice(urls), ip_ok) for proxy_ip in proxies_ip]
loop.run_until_complete(asyncio.wait(tasks))
time.sleep(3)
except Exception as err:
print('发生错误:', err.args)
insert_ip(ip_ok)
print('数据保存完毕!')
def update_mysqlip(urls):
ip_list = get_mysqlip()
ip_ok = []
print('开始测试新爬取的ip: ')
try:
loop = asyncio.get_event_loop()
for i in range(0, len(ip_list), 10):
proxies_ip = ip_list[i: i + 10]
tasks = [test_mysqlip(proxy_ip, random.choice(urls), ip_ok) for proxy_ip in proxies_ip]
loop.run_until_complete(asyncio.wait(tasks))
time.sleep(3)
except Exception as err:
print('发生错误:', err.args)
update_ipscore(ip_ok)
print('数据更新完毕!')
delete_ip()
print('已删除score为0的ip!')
delete_ideticalip()
print('已做去重处理!')
if __name__ == '__main__':
urls = ['https://blog.csdn.net/qq_42730750/article/details/107868879',
'https://blog.csdn.net/qq_42730750/article/details/107931738',
'https://blog.csdn.net/qq_42730750/article/details/107869022',
'https://blog.csdn.net/qq_42730750/article/details/108016855',
'https://blog.csdn.net/qq_42730750/article/details/107703589',
'https://blog.csdn.net/qq_42730750/article/details/107869233',
'https://blog.csdn.net/qq_42730750/article/details/107869944',
'https://blog.csdn.net/qq_42730750/article/details/107919690']
insret_mysqlip(urls)
update_mysqlip(urls)