黑科技，超强程序员用Python建立代理ip池。

代理池是爬虫、采集、爆破、刷单等必不可少的配备。读了一个github的py代理池的源码，简单易用免维护，也无需过多配置，该程序从网站爬取代理列表，存入SQLite数据库。定时执行爬取->存入->检查->爬取的循环以保证采集到代理IP的可用性。

开两个线程，一个用做服务器对外提供代理IP，另一个用于维护代理池里IP的可用性。

线程1d

ef _api(self):

ProxyServer(API_CONFIG['PORT'])



class ProxyServer:

def __init__(self, port):

self.port = int(port)

self.run()

....

def run(self):

http_server = HTTPServer(('localhost', self.port), self.ProxyPoolHandler)

logger.info('listened on localhost:%s' % API_CONFIG['PORT'])

http_server.serve_forever()

二、本地搭建HTTP服务，使用URL参数作为筛选条件从数据库中筛出符合条件的代理并以json格式返回。

def get_proxy(self, params):

where_dict = {'port': 'port', 'type': 'type', 'protocol': 'protocol', 'area': 'area'}

conds = {

'field': ['ip', 'port'],

'order': ['updatetime desc', 'lastusedtime', 'score desc', 'speed'],

'limit': 1,

'where': [],

}

if params:

for (k, v) in params.items():

try:

if k == 'num':

conds['limit'] = v[0]

elif k == 'area':

conds['where'].append((where_dict[k], 'like', '%%%s%%' % v[0]))

else:

conds['where'].append((where_dict[k], '=', v[0]))

except:

continue

data = self.sqlite.select(self.table_name, conds)

tmp = [{'ip': n[0], 'port': n[1], 'lastusedtime': datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')} for

n in data]

self.sqlite.update(self.table_name, tmp)

data = ['%s:%s' % n for n in data]

return json.dumps(data)

因为每个加入代理池的ip都设置了过期时间，所以检查代理ip是否有效这个操作，也并非真的去检验ip本身，而是检查它的过期时间。

线程2

def _monitor(self):

while True:

self._update(PROXYPOOL_CONFIG['UPDATE_TIME'])

self._delete(PROXYPOOL_CONFIG['DELETE_TIME'])

self._crawl(PROXYPOOL_CONFIG['CRAWL_TIME'])

time.sleep(1800)

我们需要清除掉过期时间<当前时间的ip。

# -*- coding: utf-8 -*-

# @File : delele_ip.py

# @Author: AaronJny

# @Date : 18-12-14 上午11:15

# @Desc : 过期ip清理器

import utils

import settings

import time

class ExpireIpCleaner:

def __init__(self):

self.logger = utils.get_logger(getattr(self.__class__, '__name__'))

self.server = utils.get_redis_client()



def clean(self):

"""

清理代理池中的过期ip

:return:

"""

self.logger.info('开始清理过期ip')

# 计算清理前代理池的大小

total_before = int(self.server.zcard(settings.IP_POOL_KEY))

# 清理

self.server.zremrangebyscore(settings.IP_POOL_KEY, 0, int(time.time()))

# 计算清理后代理池的大小

total_after = int(self.server.zcard(settings.IP_POOL_KEY))

self.logger.info('完毕！清理前可用ip {}，清理后可用ip {}'.format(total_before, total_after))



def main(self):

"""

周期性的清理过期ip

:return:

"""

while True:

self.clean()

self.logger.info('*' * 40)

time.sleep(settings.CLEAN_INTERVAL)

if __name__ == '__main__':

ExpireIpCleaner().main()