Linux性能调优 —— 内存篇

Linux内存的工作原理

内存映射的概念

  大多数计算机用的主存都是动态随机访问内存(DRAM)，只有内核才可以直接访问物理内存。Linux内核给每个进程提供了一个独立的虚拟地址空间，并且这个地址空间是连续的。这样进程就可以很方便的访问内存(虚拟内存)。

  虚拟地址空间的内部分为内核空间和用户空间两部分，不同字长的处理器地址空间的范围不同。32位系统内核空间占用1G，用户空间占3G。64位系统内核空间和用户空间都是128T，分别占内存空间的最高和最低处，中间部分为未定义。

  并不是所有的虚拟内存都会分配物理内存，只有实际使用的才会。分配后的物理内存通过内存映射管理。为了完成内存映射，内核为每个进程都维护了一个页表，记录虚拟地址和物理地址的映射关系。页表实际存储在CPU的内存管理单元MMU中，处理器可以直接通过硬件找出要访问的内存。

  当进程访问的虚拟地址在页表中查不到时，系统会产生一个缺页异常，进入内核空间分配物理内存，更新进程页表，进行页面置换，再返回用户空间恢复进程的运行。

  MMU以页为单位管理内存，页大小4KB。为了解决页表项过多问题Linux提供了多级页表和HugePage的机制。

  Linux还使用内存中的一部分来存储文件系统和块设备的缓存，以加速对文件和块设备的访问。这被称为文件系统缓存或页缓存。

  Linux可以将不常用的内存页面交换到磁盘上的交换分区（swap partition）中，以释放物理内存供其他进程使用。交换空间的使用是在物理内存不足时的一种手段，但过度使用交换会降低性能。

虚存空间分布

  用户空间内存从低到高是五种不同的内存段：

  只读段 代码和常量等
  数据段 全局变量等
  堆 动态分配的内存，从低地址开始向上增长
  文件映射 动态库、共享内存等，从高地址开始向下增长
  栈 包括局部变量和函数调用的上下文等，栈的大小是固定的。一般8MB

内存分配与回收

分配

  针对小块内存(<128K)，通过移动堆顶位置来分配。内存释放后不立即归还内存，而是被缓存起来。
  针对大块内存(>128K)，直接用内存映射来分配，即在文件映射段找一块空闲内存分配。

  前者的缓存可以减少缺页异常的发生，提高内存访问效率。但是由于内存没有归还系统，在内存工作繁忙时，频繁的内存分配/释放会造成内存碎片。

  后者在释放时直接归还系统，所以每次都会发生缺页异常。在内存工作繁忙时，频繁内存分配会导致大量缺页异常，使内核管理负担增加。

回收

  内存紧张时，系统通过以下方式来回收内存：

  · 回收缓存：LRU算法回收最近最少使用的内存页面；
  · 回收不常访问内存：把不常用的内存通过交换分区写入磁盘
  · 杀死进程

内存查看与分析

查看内存使用情况

命令：free

  输入以下命令：

free -h

  输出如下：

              总计         已用        空闲      共享    缓冲/缓存    可用
内存：        62Gi       9.2Gi        22Gi       1.4Gi        31Gi        51Gi
交换：       2.0Gi       1.9Gi        62Mi

• 总计 (Total)：物理内存的总容量。在这个示例中，系统总共有62 GB的物理内存。

• 已用 (Used)：当前已被系统和进程使用的内存量。在这个示例中，已经使用了9.2 GB的内存。

• 空闲 (Free)：当前未被使用的内存量。在这个示例中，有22 GB的内存是空闲的。

• 共享 (Shared)：被多个进程共享的内存量。在这个示例中，有1.4 GB的内存被多个进程共享。

• 缓冲/缓存 (Buffer/Cache)：用于文件系统缓存和磁盘I/O缓冲的内存量。在这个示例中，有31 GB的内存被用于缓冲和缓存。

• 可用 (Available)：系统估计可供新进程使用的内存量，包括未来可能被释放的内存。在这个示例中，有51 GB的内存被估计为可用。

  关于交换空间：

• 交换总量 (Total Swap)：系统中交换空间的总容量。在这个示例中，系统总共有2.0 GB的交换空间。

• 已用交换 (Used Swap)：当前已经在交换空间中使用的量。在这个示例中，已经使用了1.9 GB的交换空间。

• 剩余交换 (Free Swap)：剩余未被使用的交换空间量。在这个示例中，还有62 MB的交换空间是空闲的。

  总体来说，系统的物理内存使用情况看起来还相对充裕，因为大部分内存都是空闲的，而且有相当数量的缓冲和缓存可供使用。交换空间也仅有少量被使用，这是良好的迹象，因为过度使用交换空间可能会影响性能。如果系统性能仍然良好，那么当前的内存和交换空间使用情况可能是可接受的。但是，如果系统出现性能问题，可能需要进一步分析进程和服务的内存使用情况，以确定是否需要采取进一步的措施，如优化或增加内存。

命令：vmstat

  输入以下命令，表示每隔5秒统计一次：

vmstat 5

  输出如下：

  结果说明

• r 表示运行队列(就是说多少个进程真的分配到CPU)，我测试的服务器目前CPU比较空闲，没什么程序在跑，当这个值超过了CPU数目，就会出现CPU瓶颈了。这个也和top的负载有关系，一般负载超过了3就比较高，超过了5就高，超过了10就不正常了，服务器的状态很危险。top的负载类似每秒的运行队列。如果运行队列过大，表示你的CPU很繁忙，一般会造成CPU使用率很高。

• b 表示阻塞的进程,这个不多说，进程阻塞，大家懂的。

• swpd 虚拟内存已使用的大小，如果大于0，表示你的机器物理内存不足了，如果不是程序内存泄露的原因，那么你该升级内存了或者把耗内存的任务迁移到其他机器。

• free 空闲的物理内存的大小。

• buff Linux/Unix系统是用来存储，目录里面有什么内容，权限等的缓存

• cache cache直接用来记忆我们打开的文件,给文件做缓冲，这里是Linux/Unix的聪明之处，把空闲的物理内存的一部分拿来做文件和目录的缓存，是为了提高 程序执行的性能，当程序使用内存时，buffer/cached会很快地被使用。

• si 每秒从磁盘读入虚拟内存的大小，如果这个值大于0，表示物理内存不够用或者内存泄露了，要查找耗内存进程解决掉。我的机器内存充裕，一切正常。

• so 每秒虚拟内存写入磁盘的大小，如果这个值大于0，同上。

• bi 块设备每秒接收的块数量，这里的块设备是指系统上所有的磁盘和其他块设备，默认块大小是1024byte，我本机上没什么IO操作，所以一直是0，但是我曾在处理拷贝大量数据(2-3T)的机器上看过可以达到140000/s，磁盘写入速度差不多140M每秒

• bo 块设备每秒发送的块数量，例如我们读取文件，bo就要大于0。bi和bo一般都要接近0，不然就是IO过于频繁，需要调整。

• in 每秒CPU的中断次数，包括时间中断

• cs 每秒上下文切换次数，例如我们调用系统函数，就要进行上下文切换，线程的切换，也要进程上下文切换，这个值要越小越好，太大了，要考虑调低线程或者进程的数目,例如在apache和nginx这种web服务器中，我们一般做性能测试时会进行几千并发甚至几万并发的测试，选择web服务器的进程可以由进程或者线程的峰值一直下调，压测，直到cs到一个比较小的值，这个进程和线程数就是比较合适的值了。系统调用也是，每次调用系统函数，我们的代码就会进入内核空间，导致上下文切换，这个是很耗资源，也要尽量避免频繁调用系统函数。上下文切换次数过多表示你的CPU大部分浪费在上下文切换，导致CPU干正经事的时间少了，CPU没有充分利用，是不可取的。

• us 用户CPU时间，我曾经在一个做加密解密很频繁的服务器上，可以看到us接近100,r运行队列达到80(机器在做压力测试，性能表现不佳)。

• sy 系统CPU时间，如果太高，表示系统调用时间长，例如是IO操作频繁。

• id 空闲CPU时间，一般来说，id + us + sy = 100,一般我认为id是空闲CPU使用率，us是用户CPU使用率，sy是系统CPU使用率。

• wt 等待IO CPU时间

命令：top

  输入以下命令，随后再输入M表示按照内存占用率排序：

top

  输出如下：

  从上图可以发现，内存占用率较高的是jsvc和mysql。jsvc可能并不知道是个什么命令，所以我们进一步分析单个进程。

分析单个进程

命令：ps -p

  查看进程1180的运行信息：

ps -p 1180 -o pid,ppid,%cpu,%mem,cmd

  输出如下：

  cmd表示查看这个进程的执行命令，最终锁定1180进程是tomcat的守护进程。