华为云数据库GaussDB(for Cassandra)揭秘：内存异常增长的排查经历
内存异常增长的排查经历
背景介绍
华为云数据库GaussDB(for Cassandra) 是一款基于计算存储分离架构，兼容Cassandra生态的云原生NoSQL数据库；它依靠共享存储池实现了强一致，保证数据的安全可靠。核心特点是：存算分离、低成本、高性能。
问题描述
GaussDB(for Cassandra)自研架构下遇到一些挑战性问题，比如cpu过高，内存泄漏，内存异常增长，时延高等问题，这些也都是开发过程中遇到的典型问题。分析内存异常增长是一个比较大的挑战，内存的异常增长对于程序来说是一个致命的问题，因为其可能触发OOM，进程异常宕机，业务中断等结果，所以对内存进行合理的规划使用及控制就显得尤为重要。通过调整cache容量，bloom过滤器大小，以及memtable大小等等，实现性能提升，读写时延改善等效果。
在线下测试过程中发现内核在长时间运行后，内存只增不减，出现异常增长的情况，怀疑可能存在内存泄漏。
分析&验证
首先根据内存使用，将内存分为堆内和堆外两个部分，分别进行该两块内存的分析。确定有问题的内存是堆外内存，进一步对堆外内存分析。引入更高效的内存管理工具tcmalloc，解决内存异常增长问题。下面为具体分析验证过程。