Linux性能优化-内存性能优化思路

目录

内存性能指标

内存性能工具

如何快速分析内存的性能指标

---

 

内存性能指标

系统内存使用情况
1.已用内存和剩余内存
2.共享内存，通过tmpfs实现的，他的大小就是tmpfs使用的内存大小，这是一个特殊的缓存
3.可用内存是新进程可以使用的最大内存，包括剩余内存和可回收缓存
4.缓存包括，从磁盘读取文件页的buffer缓存，用来缓存从磁盘读取的数据加速再次访问
   还包括Slab分歧中的可回收内存
5.缓冲区是对原始磁盘块的临时存储，用来缓存将要写入磁盘的数据，内核可以把分散的写集中起来，统一
   优化磁盘写入

进程内存使用情况
如进程的虚拟内存，常驻内存，共享内存，swap内存等
1.虚拟内存，包括了进程代码段，数据段，共享内存，已经申请的堆内存和已经换出的内存等，注意，已经
  申请的内存，即使还没有分配物理内存，也算作虚拟内存
2.常驻内存是进程实际使用的物理内存，不包括swap和共享内存，一般会换算成占系统总内存的百分比，
   也就是进程的内存使用率
3.共享内存，包括与其他进程共同使用的真是的共享内存，还包括了加载的动态链接库以及程序代码段等
4.Swap内存，是指通过Swap换出到磁盘的内存

缺页异常
系统调用内存分配请求后，并不会立刻为其分配物理内存，而是在首次访问时，通过缺页异常来分配，缺页
  异常包括两类
1.可以直接从物理内存中分配时，称为次缺页异常
2.需要磁盘I/O介入，比如Swap时，被成为主缺页异常，主缺页异常升高，意味着需要磁盘I/O，会导致
   内存访问变慢很多

Swap的使用情况
如swap的已用空间，剩余空间，换入速度和换出速度等
1.已用空间和剩余空间很好理解，就是字面上的意思，已使用和没有使用的内存空间
2.换入和换出速度，则表示每秒钟换入和换出内存的大小
 

内存的性能指标相关的思维导图

 

内存性能工具

比如free 查看整体内存和swap情况
top和ps 查看进程的内存情况
在proc中还有很多内存指标的来源，如/proc/zoneinfo等
通过vmstat可以动态观察内存变化情况
通过cachestat 查看整个系统缓存的读写命中情况
通过cachetop来观察每个进程缓存的读写命中情况
memleak查看内存分配，找到内存泄露的位置
通过sar也可以实时的查看内存使用情况
 

性能指标和工具联系
同CPU一样，可以从两个不同维度出发
1.从内存指标出发，把工具和工作原理关联起来
2.从性能工具出发，可以更快的利用工具，找出我们想观察的性能指标，特别是工具有限的情况下，得充分
   利用手头的每一个工具，挖掘更多问题

根据指标找工具

从性能工具出发，最大化利用已有的工具，找到想要的指标
根据工具查找指标(内存性能)

 

如何快速分析内存的性能指标

在实际环境中，我们希望尽可能快的定位系统瓶颈，然后尽可能快的优化性能，就是要又快又准的性能相关的问题
虽然内存性能指标很多，但都是魏了描述内存的原理，指标间自然不会完全孤立，一般都会有关联，反过来说，这些关联也正是源于系统的内存原理
为了快速定位内存问题，可以先运行几个覆盖面比较大的性能工具，如free，top，vmstat，pidstat等
具体粉丝思路如下
1.先用free和top，查看系统整体的内存使用情况
2.再用vmstat和pidstat，查看一段时间的趋势，从而判断出内存的问题类型
3.最后进行详细分析，比如内存分配分析，缓存/缓冲区分析，具体进程的内存使用分析等

相关流程图如下

几个例子
1.当通过free发现大部分内存都会缓存占用后，就可以使用vmstat或者sar观察缓存变化趋势，确认缓存的
  使用是否还在继续增大，如果继续增大，说明导致缓存升高的进程还在运行，再用cachestat和cachetop
  分析这些缓存到底被哪里占用
2.用free发现可用内存不足，首先要确认内存是否被缓存/缓冲区占用，排除缓存/缓冲区后，可以继续用
   pidstat或top，定位占用内存最多的进程，找出进程后，再通过进程内存空间工具(如pmap)分析
   进程地址空间中内存的使用情况
3.当通过vmstat或sar发现内存不断增长，可以分析是否存在内存泄露问题，使用memleak检查是否存在
   内存泄露，memleak输出内存泄露的进程以及调用堆栈

 

虽然内存的性能指标和性能工具都很多，但理解其原理后，会发现他们之间有一定关联
找到内存问题来源后，下一步就是相应的优化工作了，内存调优最重要的是，保证应用程序的热点数据放到内存中，并尽量减少换页和交换
常见的优化思路如下
1.最好禁止Swap，如必须开启Swap，降低swappiness的值，减少内存回收时Swap的使用倾向
2.减少内存的动态分配，比如可以使用内存池，大页(HugePage)等
3.尽量使用缓存和缓冲区来访问数据，比如可以使用堆栈明确声明内存空间，来存储需要缓存的数据，或
  用Redis这类的外部缓存组建，优化数据的访问
4.使用cgroups等方式限制进程的内存使用情况，这样可以确保系统内存不会被异常进程耗尽
5.通过/proc/[PID]/oom_adj，调整核心应用的oom_score，可以保证及时内存紧张，核心应用也不会被OOM
  杀死