python 线程池内存泄露_Python2.6的multiprocessing.dummy.Pool的一个内存泄露的问题

线上一个监控系统的agent内存单调增长 ,查了半天, 在我的开发环境的python2.7下重现不了,好不容易找了个老古董的RHEL6环境用python2.6才能重现.

Agent里面, 用multiprocessing.dummy.Pool开一个线程池, 然后通过map方法, 批量执行一批预先配置的任务, 测试发现用python2.6运行时, 如果某种任务一条也没配置的话, 就会有明显的内存泄露.

把重现的方法最简化如下面代码:

from multiprocessing import dummy

pool = dummy.Pool(8)

while True:

pool.map(str, [])

python2.6下跑稳定重现了内存泄露问题, python2.7, python3.5下跑都没问题.

如果pool.map里面传入的iterable不是一个空列表[]而是有元素的列表,则内存泄露不发生.

原因暂时没时间探究,但是知道了这个情况之后,就可以规避在Python2.6里面的泄露问题了.

下面说一下怎么判断一个进程是否内存泄露, 在Linux环境下, 找到你的进程号比如我的这个测试的:

# ps -ef|grep agent.py|grep -v grep

root 19512 19508 99 16:29 pts/0 00:09:57 python ./../src/agent.py

获得pid 19512

然后就top -p 19512, 观察常驻内存的量是否有异常上升

另外一种方式是

# grep RSS /proc/19512/status

VmRSS: 11772 kB

持续观察一段时间, 或者干脆写个脚本做长时间的定期采样, 有没有泄露就知道了.