关于linux kernel里的high memory

linux kernel里的high memory是怎么回事，现在整理下。

high memory只存在于32位kernel下，以下文字都针对32位kernel。

1）什么是high memory，为什么要有high memory

Linux人为的把4G虚拟地址空间（32位地址最多寻址4G）分为3G＋1G，其中0～3G为用户程序地址空间，3G～4G为kernel地址空间（为什么要这么分？为什么用户程序和kernel不能各自独享4G虚拟地址空间？这两个问题下次再说吧，这里不表），这就是说kernel最多寻址1G的虚拟地址空间。

当CPU启用MMU的paging机制后，CPU访问的是虚拟地址，然后由MMU根据页表转换成物理地址。页表是由kernel维护的，所以kernel可以决定1G的虚拟地址空间具体映射到什么物理地址。但是kernel最多只有3G～4G这1G地址空间，所以不管kernel怎么映射，最多只能映射1G的物理内存。所以如果一个系统有超过1G的物理内存，在某一时刻，必然有一部分kernel是无法直接访问到的（这个一定要想清楚，不然无法明白highmemory）。另外，kernel除了访问内存外，还需要访问很多IO设备。在现在的计算机体系结构下，这些IO设备的资源（比如寄存器，片上内存等）一般都是通过MMIO的方式映射到物理内存地址空间来访问的，就是说kernel的1G地址空间除了映射内存，还要考虑到映射这些IO资源－－换句话说，kernel还需要预留出一部分虚拟地址空间用来映射这些IO设备（ioremap就是干这个的）。

Linuxkernel采用了最简单的映射方式来映射物理内存，即把物理地址＋3G按照线性关系直接映射到kernel空间。考虑到一部分kernel虚拟地址空间需要留给IO设备（以及一些其他特殊用途），Linuxkernel最多直接映射896M物理内存，而预留了最高端的128M虚拟地址空间给IO设备（还有其他的用途）。所以，当系统有大于896M内存时，超过896M的内存kernel就无法直接访问到了（想明白了么？），这部分内存就是highmemory。那kernel就永远无法访问到超过896M的内存了马？不是的，kernel已经预留了128M虚拟地址，我们可以用这个地址来动态的映射到highmemory，从而来访问high memory。所以预留的128M除了映射IO设备外，还有一个重要的功能是提供了一种动态访问highmemory的一种手段（kmap主要就是干这个的，当然还有vmalloc）。

当然，在系统物理内存<896M，比如只有512M的时候，就没有highmemory了，因为512M的物理内存都已经被kernel直接映射。事实上，在物理内存<896M时，从3G+max_phy~ 4G的空间都作为上述的预留的内核地址空间（未考证）。

要理解highmemory，关键是把物理内存管理，虚拟地址空间管理，以及两者间的映射（页表管理）三个部分分开考虑，不要把物理内存管理和虚拟地址空间管理混在一起。比如highmemory也参与kernel的物理内存分配，你调用get_page得到的物理页有可能是low memory，也可以是highmemory，这个物理页可以被映射到kernel，同时也可以被映射到userspace。再比如vmalloc，只保证返回的虚拟地址是在预留的vmalloc area里，对应的物理内存，可以是lowmemory，也可以是high memory。当然出于性能考虑，kernel可能会优先分配直接映射的lowmemory，但我们不能假设high memory就不会被分配到。

一些结论：

1）high memory针对的是物理内存，不是虚拟内存，更确切的，虚拟地址空间。

2）high memory也是被内核管理的（有对应的page结构），只是没有映射到内核虚拟地址空间。当kernel需要分配highmemory时，通过kmap等从预留的地址空间中动态分配一个地址，然后映射到high memory，从而访问这个物理页。

3）high memory和lowmemory一样，都是参与内核的物理内存分配，都可以被映射到kernel地址空间，也都可以被映射到userspace地址空间。

4）物理内存<896M时，没有highmemory，因为所有的内存都被kernel直接映射了。

5）64位系统下不会有highmemory，因为64位虚拟地址空间非常大（分给kernel的也很大），完全能够直接映射全部物理内存。

2）题外话1 －－关于最高端的128M内核虚拟地址（或者当物理内存<896M时更大）的分配：

这部分地址空间被划分为4段，分别是fixed mapping，kmap area，vmallocarea，还有8M用来catch kernel指针错误。其中fixedmapping主要用在boot阶段用来永久性映射一些物理地址固定的数据结构或者硬件地址（比如ACPI表，APIC地址，等等）。kmaparea是kernel用来临时建立映射来访问物理页用的，可用的地址空间也比较小。128M中绝大部分reserve了给vmallocarea，vmalloc和ioremap返回的都是这个空间里的地址。

另外，在《Understanding the Linux Virtual Memory Manager》这本书中有linux进程地址空间划分的详细图，很不错，我就懒得画了。