Linux内存管理之二 内存节点和内存分区

UMA和NUMA：
UMA(Uniform Memory Access)，即一致性内存访问。这种情况下，CPU访问内存的任何位置，代价都是一样的。
NUMA)(Non Uniform Memory Access)，即非一致性内存访问。这种情况下，CPU访问不同位置的内存，代价是不一样的。在多CPU情况下，对每个CPU来说有本地内存和远端内存，访问本地内存的代价比访问远端内存的代价小。确保CPU访问内存代价最小，是非常重要的一点。

Linux支持多种硬件体系结构，因此Linux必须采用通用的方法来描述内存，以方便对内存进行管理。为此，Linux有了内存节点、内存区、页框的概念，这些概念也是一目了然的。
内存节点：主要依据CPU访问代价的不同而划分。多CPU下环境下，本地内存和远端内存就是不同的节点。即使在单CPU环境下，访问所有内存的代价都是一样的，Linux内核依然存在内存节点的概念，只不过只有一个内存节点而已。内核以struct  pg_data_t来描述内存分区。
内存分区：Linux对内存节点再进行划分，分为不同的分区。内核以struct zone来描述内存分区。通常一个节点分为DMA、Normal和High Memory内存区，具体下面再介绍。
页框：Linux采用页式内存管理，页是物理内存管理的基本单位，每个内存分区又由大量的页框组成。内核以struct page来描述页框。页框有很多属性，这些属性描述了这个页框的状态、用途等，例如是否被分配。


上图中的zone_mem_map是一个页框的数组，它记录了一个内存分区的所有页框的使用情况。

DMA内存区：即直接内存访问分区，通常为物理内存的起始16M。主要是供一些外设使用，外设和内存直接访问数据访问，而无需系统CPU的参与。
Normal内存区：从16M到896M内存区。
HighMemory内存区：896M以后的内存区。

为什么高端内存的边界是896M？这是因为，32位Linux虚拟内存空间为0-4G，其中0-3G用于用户态，3G-4G用于内核态。这意味着内核只有1G的虚拟地址空间，如果物理内存超过1G，内核就无法映射了。Linux采取的策略是，内核地址空间的前896M采用固定映射，映射方法是：虚拟地址-3G = 物理地址，只能映射到物理地址的前896M。也就是说内核虚拟地址空间的3G到3G+896M这部分，页表的映射是固定的，系统初始化时就建立起来。而虚拟地址空间的最后128M，也就是3G+896M到4G部分采用动态映射，也就是说页表映射的物理地址可变的。在系统运行过程中，通过更新页表，就可以映射到不同的物理地址，当然也包括高端物理内存。

这主要解决了两个问题：第一，这可以使内核地址空间映射到高端物理内存；第二，虚拟地址空间的3G+896M到4G部分，连续的虚拟地址空间可以映射到非连续的物理内存，只要通过更新页表就可以做到，这和用户态的虚拟内存映射采用了同样这种方法。这在没有大段连续的空闲物理地址时，是非常重要的。

备用内存区：
在一个内存区分配页时，如果这个内存区没有满足条件的内存页，则需要从其它内存区或从其它内存节点分配。Linux为每个内存区都建立了备用内存区列表，当前内存区没有满足条件的内存时，就从备用内存区分配。比如，系统中有4个内存节点A,B,C,D，每个内存节点又分为DMA、Normal、HighMemory内存区。对节点B来说，内存区分配列表可能是B(HighMemory)、B(Normal)、B(DMA)、

A(HighMemory)、A(Normal)、A(DMA)、

C(HighMemory)、C(Normal)、C(DMA)、

D(HighMemory)、D(Normal)、D(DMA)。
分配内存时，优先从本地内存节点分配，再从其它内存节点分配。对一个内存节点，优先从HighMemory分配，再从Normal或DMA分配。