python内存泄露memory leak排查记录

问题描述

A服务,是一个检测MGR集群主节点是否发生变化的服务,使用python语言实现的。
针对每个集群,主线程会创建一个子线程,并由子线程去检测。子线程会频繁的创建和销毁。

上线以后,由于经常会有功能发布,从而重启服务,开始一段时间没有发现问题。
半个月前的周二服务发布后,大约一周时间,没有再发布。到周末的时候,突然告警系统负载高,经过排查,发现内存几乎耗尽,并查到是A服务占用巨大内存,没有释放。

排查过程

已经确定,A服务是存在内存泄露的,到底是什么地方内存使用完,却没有释放呢?
这是一个令人头疼的问题,以前确实没有遇到过Python的内存泄露。

首先,网上搜索关于python内存泄漏的问题。大体了解到,Python的内存回收是基于引用计数的,也就是说,如果某个对象被使用一次,引用计数就会增加1。对象的引用计数为0时,内存就会被回收掉。

常见的导致内存泄露的情况有两种:

  • (1)对象一直被全局变量使用,全局变量生命周期比较长,所以内存一直得不到释放。
  • (2)循环引用中的对象定义了__del__的情况.

网上提供了各种用于排查内存泄露的工具,例如objgraph、guppy、pympler等,其具体使用参考文后的链接。

看了半天这些工具的使用,感觉还是应该看看自己代码,是不是存在对象使用完,但是一直被引用的情况。

首先,排查内存泄露的位置是在主线程还是子线程。通过查看,发现「子线程一直在执行」与「子线程频繁创建和退出」两种情况下,内存消耗差别较大, 而且「子线程一直在执行」内存消耗很小。这样,就可以定位到,内存泄露位置是在主线程或「子线程loop之前的代码」。

接着,屏蔽子线程,发现内存正常。

所以,定位到问题是在「子线程loop之前的代码」中。
最后,发现是频繁调用第三方包的函数导致的。

解决办法

找到问题的原因了,那么解决方法就好办了。改用其他的包或修改使用方式,绕开这个大坑。

参考

一次调试python内存泄露的问题
使用gc、objgraph干掉python内存泄露与循环引用!
Python内存优化:Profile,slots,compact dict

你可能感兴趣的:(python内存泄露memory leak排查记录)