笔记：linux内核内存布局以及/dev/mem
参考一下两篇文章：
linux内核内存管理(zone_dma zone_normal zone_highmem)(linux memory layout)
/dev/mem可没那么简单
学习笔记（以x86为例）
linux的虚拟地址空间：
32位的CPU，最大寻址范围为2^32 - 1也就是4G的线性地址空间。Linux简化了分段机制，使得虚拟地址与线性地址总是一致的。linux一般把这个4G的地址空间划分为两个部分：其中0～3G为用户程序地址空间，虚地址0x00000000到0xBFFFFFFF,供各个进程使用；3G～4G为内核的地址空间，虚拟地址0xC0000000到0xFFFFFFFF, 供内核使用。（注意，ARM架构不是3G/1G划分的，而是2G/2G划分。这里以3G/1G划分作讲解）。
- 物理内存（以4G内存为例）依次由DMA_ZONE（0～16M），NORMAL_ZONE（16~896M）和HIGH_ZONE(896~4G)组成。
- 内核虚拟地址空间又可以分为lowmemory和highmemory两个部分或者对应物理内存的DMA_ZONE，NORMAL_ZONE（DMA_ZONE和NORMAL_ZONE线性映射到内核虚拟地址空间（即物理地址加一个offset））和HIGH_ZONE（需要通过kmap动态映射）三个部分：
- 其中lowmemory（共896M, 位置vm_kernel_base ~ vm_kernel_base + 896M）对应物理内存DMA_ZONE，NORMAL_ZONE。NORMAL_ZONE主要存放内核会频繁使用的数据如kernel代码、GDT、IDT、PGD、mem_map数组等。
- highmemory（共128M，位置vm_kernel_base + 896M ～1G）对应物理内存HIGH_ZONE部分，主要存放用户数据、页表(PT)等不常用数据，只有要访问这些数据时才建立映射关系(通过kmap())，这样即使内核的虚拟地址空间最大只有1G也可以通过higmemory的128M空间采用动态建立映射的方式访问HIGH_ZONE的全部内容，结合lowmemory访问DMA_ZONE，NROMAL_ZONE，可以实现对整个4G内存的访问。highmemory的使用场景：譬如可以通过ioremap使用位于HIGH_ZONE部分的IO内存，又或者在内核虚拟空间（3~4G）访问用户虚拟空间（0~3G）的数据（通过将用户空间内存数据映射到内核空间实现）。
/dev/mem内存映射：
如果不做CONFIG_STRICT_DEVMEM限定，那么可以映射所有的地址空间；
如果添加了CONFIG_STRICT_DEVMEM限定，在做映射前会执行一下检测：
- 地址范围不能超过4G；
- 该物理地址所在的iomem不能是exclusive（独占）的；
- 该物理地址不能在内核的lowmem部分。
简单解析一下"/driver/char/mem.c"中mmap的实现：
static int mmap_mem(struct file *file, struct vm_area_struct *vma)
{
size_t size = vma->vm_end - vma->vm_start;
if (!valid_mmap_phys_addr_range(vma->vm_pgoff, size))
return -EINVAL;
if (!private_mapping_ok(vma))
return -ENOSYS;
if (!range_is_allowed(vma->vm_pgoff, size))
return -EPERM;
if (!phys_mem_access_prot_allowed(file, vma->vm_pgoff, size,
&vma->vm_page_prot))
return -EINVAL;
vma->vm_page_prot = phys_mem_access_prot(file, vma->vm_pgoff,
size,
vma->vm_page_prot);
vma->vm_ops = &mmap_mem_ops;
/* Remap-pfn-range will mark the range VM_IO */
if (remap_pfn_range(vma,
vma->vm_start,
vma->vm_pgoff,
size,
vma->vm_page_prot)) {
return -EAGAIN;
}
return 0;
}
- "valid_mmap_phys_addr_range"函数检查要mmap的物理地址范围是否超过4G空间，超过则无效；
- "private_mapping_ok"函数对于支持MMU的平台来说总是返回"1"；
- "range_is_allowed"在没有配置CONFIG_STRICT_DEVMEM的情况下总是返回"1"，配置了的话需要该物理地址所在的iomem不能使exclusive独占的，并且不能处在lowmem空间中；
- "phys_mem_access_prot_allowed"总是返回"1"表示可以设置该段需要被映射内存的protection标志；
以上4段在/dev/mem可没那么简单 都有分析，查看源码很容易理解，下面单独介绍一下"phys_mem_access_prot"。该函数是用来给vma的protection属性添加noncached属性（或者叫做noncached & nonbuffered，即对内存的访问是不经过硬件cache和buffer的，处理器一般具有4种cache属性：non-cached&non-buffered/non-cached&buffered/cached&write-through/cached&write-back(参考关于cache和write buffer和ARM的cache和写缓冲器（write buffer）)）。
#ifdef pgprot_noncached
static int uncached_access(struct file *file, phys_addr_t addr)
{
#if defined(CONFIG_IA64)
/*
* On ia64, we ignore O_DSYNC because we cannot tolerate memory
* attribute aliases.
*/
return !(efi_mem_attributes(addr) & EFI_MEMORY_WB);
#elif defined(CONFIG_MIPS)
{
extern int __uncached_access(struct file *file,
unsigned long addr);
return __uncached_access(file, addr);
}
#else
/*
* Accessing memory above the top the kernel knows about or through a
* file pointer
* that was marked O_DSYNC will be done non-cached.
*/
if (file->f_flags & O_DSYNC)
return 1;
return addr >= __pa(high_memory);
#endif
}
#endif
static pgprot_t phys_mem_access_prot(struct file *file, unsigned long pfn,
unsigned long size, pgprot_t vma_prot)
{
#ifdef pgprot_noncached
phys_addr_t offset = pfn << PAGE_SHIFT;
if (uncached_access(file, offset))
return pgprot_noncached(vma_prot);
#endif
return vma_prot;
}"#ifdef pgprot_noncached"如果不支持noncahed的page访问属性那么直接采用用户空间mmap设定的属性，否则执行"uncached_access(file, offset)"检查是否应为该段内存设置noncached访问属性。"uncached_access(file, offset)"针对三种平台IA64/MIPS/OTHERS提供了三种不同的检测方式（实际是两种：MIPS和OTHERS平台的实现方式是一样的，体现在"__uncached_access(file, offset)"函数中），对于非IA64平台如果设置了文件的O_DSYNC位那么对于文件内存的访问就应该是noncached的，或者要映射的物理内存位于highmem地址空间，那么对其的访问也应该是noncached的。
最后如果支持noncached属性，那么就通过"pgprot_noncached(vma_prot)"向vma的protection属性中添加noncached属性。
最终调用"remap_pfn_range(vma, vma->vm_start, vma->vm_pgoff, size, vm->vm_page_prot)"实现物理地址到虚拟地址的映射。