Linux内存空间访问札记

原文地址：Linux内存空间访问札记  

引：本来打算将这部分内容并入到《The Linux Kernel Module Programming Guide笔记》中去，但是想下内存空间管理访问相当基础重要而且内容量较大，所以就单独记录。

注：在x86架构上，会分为内存空间和I/O空间，但是在大多数嵌入式控制器如ARM、PowerPC并不提供I/O空间。我面向的主要是嵌入式方面的驱动开发，所以这里并不讨论I/O空间的内容。本文的内容大多数是摘录《Linux设备驱动开发详解》的第十一章，并结合我在开发过程的一些心得体会。

 

一、内存管理单元MMU

    MMU辅助操作系统进行内存管理、提供虚拟地址和物理地址的映射、内存访问权限保护和Cache缓存控制等硬件支持，可见，这将使得Linux操作系统能单独为系统的每个用户分配独立的内存空间并保证用户空间不能访问内核空间的地址，为操作系统的虚拟内存管理模块提供了硬件基础。

    在s3c2410的vivi这个bootloader中，建立了一个4GB物理地址与虚拟地址一一映射的一级页表，我们可以通过函数mem_mapping_linear()来探寻一下其创建过程

static inline void mem_mapping_linear(void) {   unsigned long pageoffset, sectionNumber;   /*4GB虚拟地址映射到相应的物理地址上，均不能缓存*/   for (sectionNumber = 0; sectionNumber < 4096; sectionNumber++)   {     pageoffset = (sectionNumber << 20);     *(mmu_tlb_base + (pageoffset >> 20)) = pageoffset | MMU_SECDESC;     //mmu_tlb_base为存放页表的首地址,tlb是转换旁路缓存，是转换表的Cache   }   /*使能DRAM的区域可缓存*/   /*SDRAM物理地址0x30000000-0x33ffffff，DRAM_BASE=0x30000000，DRAM_SIZE=64M*/   for (pageoffset = DRAM_BASE; pageoffset < (DRAM_BASE + DRAM_SIZE); pageoffset += SZ_1M)   {     *(mmu_tlb_base + (pageoffset >> 20)) = pageoffset | MMU_SECDESC | MMU_CACHEEABLE;   } }

    这里使用了ARM920T内存映射的Section模式（实际等同于页大小为1MB的情况），将4GB的虚拟内存空间分为4096个段，因此我们用4096个描述符来对这组段进行描述。这4096个描述符构成的表格就是转换表，保存在MMU的TLB中。

 

二、内核空间内存动态申请

    在Linux内核空间申请内存涉及的函数主要包括kmalloc()、__get_free_pages()和vmalloc()。kmalloc()、__get_free_pages()申请的内存位于物理内存映射区域，而且物理上也是连续的，它们与真实的物理地址只有一个固定的偏移，而vmalloc()在虚拟内存空间给出一块连续的内存区，实际上，这片连续的虚拟内存在物理内存中并不一定连续。vmalloc()一般用在为较大的顺序缓冲区分配内存，vmalloc()的开销远大于__get_free_pages()，为了完成vmalloc()，需要建立新的页表。

    另外还有slab和内存池，这里不进行详述，可参考相关资料。

    对于内核内存空间映射区的虚拟内存（如kmalloc分配的内存），使用virt_to_phys()可以实现内核虚拟地址转化为物理地址，与之对应的函数为phys_to_virt()，它将物理地址转化为内核虚拟地址。

 

三、将设备地址映射到用户空间

    一般情况下，用户空间不会也不应该直接访问设备的，但是，设备驱动程序中可实现mmap()函数，这个函数可使得用户空间能直接访问设备的物理地址。实际上，mmap实现了一个映射过程：将用户空间的一段内存与设备内存空间相关联，当用户访问用户空间的这段地址范围时，事实上转化成对设备的访问。

    这个特性对显示设备非常有意义，如果用户空间可直接用过内存映射访问显存的话，屏幕帧的各点像素将不再需要从用户空间复制到内核空间。

    我们看看mmap的系统调用原型：

caddr_t mmap(caddr_t addr, size_t len, int prot, int flags, int fd, off_t offset); /* **参数fd为文件描述符， **len是映射到用户空间的字节数，它从被映射文件开头offset开始算起 **prot指定访问权限，PROT_READ（可读）、PROT_WRITE（可写）、PROT_EXEC（可执行）、PROT_NONE（不可访问） **参数addr指定文件应被映射到用户空间的起始地址，一般为NULL，这样起始地址的任务将由内核完成，而函数返回值就是映射到用户空间的地址 */

    当用户调用mmap()时，内核会进行如下处理：

1、在进程的虚拟空间查找一块VMA 2、将这块VMA进行映射到设备地址空间，如果file_operations定义了mmap()操作，则调用它 3、将这个VMA插入到进程的VMA链表中

    vm_operations_struct操作范例，取自fbmem.c

static int fb_mmap(struct file *file, struct vm_area_struct * vma) {     int fbidx = iminor(file->f_path.dentry->d_inode);     struct fb_info *info = registered_fb[fbidx];     struct fb_ops *fb = info->fbops;     unsigned long off;     unsigned long start;     u32 len;     if (vma->vm_pgoff > (~0UL >> PAGE_SHIFT))         return -EINVAL;     off = vma->vm_pgoff << PAGE_SHIFT;     if (!fb)         return -ENODEV;     if (fb->fb_mmap) {         int res;         lock_kernel();         res = fb->fb_mmap(info, vma);         unlock_kernel();         return res;     }     lock_kernel();     /* frame buffer memory */     start = info->fix.smem_start;     len = PAGE_ALIGN((start & ~PAGE_MASK) + info->fix.smem_len);     if (off >= len) {         /* memory mapped io */         off -= len;         if (info->var.accel_flags) {             unlock_kernel();             return -EINVAL;         }         start = info->fix.mmio_start;         len = PAGE_ALIGN((start & ~PAGE_MASK) + info->fix.mmio_len);     }     unlock_kernel();     start &= PAGE_MASK;     if ((vma->vm_end - vma->vm_start + off) > len)         return -EINVAL;     off += start;     vma->vm_pgoff = off >> PAGE_SHIFT;     /* This is an IO map - tell maydump to skip this VMA */     vma->vm_flags |= VM_IO | VM_RESERVED;     fb_pgprotect(file, vma, off);     if (io_remap_pfn_range(vma, vma->vm_start, off >> PAGE_SHIFT,              vma->vm_end - vma->vm_start, vma->vm_page_prot))         return -EAGAIN;     return 0; } /* **这段代码的核心是io_remap_pfn_range(vma, vma->vm_start, off >> PAGE_SHIFT, vma->vm_end - vma->vm_start, vma->vm_page_prot)) **其中vma->vm_start就是用户内存映射开始处的虚拟地址 **vma->vm_end - vma->vm_start是映射的虚拟地址范围 **而off >> PAGE_SHIFT是虚拟地址应该映射到的物理地址off的页帧号，实际上就是物理地址off右移了PAGE_SHIFT位： off = vma->vm_pgoff << PAGE_SHIFT; start = info->fix.smem_start;//smem_start是显存的起始物理地址 start &= PAGE_MASK; off += start; **从上述过程可以看出，将显存的物理地址的页帧号映射到用户空间的虚拟地址上 **mmap必须以PAGE_SIZE为单位进行映射，实际上内存只能以页为单位进行映射，如果非PAGE_SIZE整数倍的地址范围，要先进行页对齐，强行以PAGE_SIZE的倍数大小进行映射 */

 

    在驱动程序中，我们能使用remap_pfn_range()映射内存中的保留页和设备IO内存，另外kmalloc申请的内存若要被映射到用户空间可以通过mem_map_reserve()设置为保留后进行。这个特性可用于用户程序要频繁将数据写到设备中的buffer时，这样可以减少系统read、write等调用开销。

【Note】：mem_map_reserve是2.4版本内核的函数，2.6内核用SetPageReserved取代之

    映射kmalloc申请的内存到用户空间范例

/*内核模块加载函数*/ int __init kmalloc_map_init(void) {     //申请设备号，添加cdev结构体     buffer = kmalloc(BUFFER_SIZE, GFP_KERNEL);     for (page = virt_to_page(buffer); page < virt_to_page(buffer + BUFFER_SIZE); page++)     {         mem_map_reserve(page);//置页为保留，virt_to_page()将内核虚拟地址转化为页     } } /*mmap()函数*/ static int kmalloc_map_mmap(struct file *filp, struct vm_area_struct *vma) {     unsigned long page, pos;     unsigned long start = (unsigned long)vma->vm_start;     unsigned long size = (unsigned long)(vma->vm_end - vma->vm_start);     if (size > BUFFER_SIZE)     {         return - EINVAL;     }     pos = (unsigned long)buffer;     /*映射buffer中的所有页*/     while (size > 0)     {         page = virt_to_phys((void *)pos);         if (remap_page_range(start, page, PAGE_SIZE, PAGE_SHARED))             return - EAGAIN;         start += PAGE_SIZE;         pos += PAGE_SIZE;         size -= PAGE_SIZE;     } /* **可否用io_remap_pfn_range(vma, vma->vm_start, virt_to_phys((void *)buffer) >> PAGE_SHIFT, vma->vm_end - vma->vm_start, PAGE_SHARED)来替代remap_page_range？ **在Linux kernel 2.6.27中，已经找不到remap_page_range的实现，见Linux kernel change log: Changes remap_page_range to remap_pfn_range for 2.6.10 and above kernels */     return 0; }

 

 

以下有关内存管理的内容转自frank_seng大侠的帖子： http://linux.chinaunix.net/bbs/viewthread.php?tid=1003872&extra=page%3D2%26amp%3Bfilter%3Ddigest

说得极其简炼易懂，我实在非常佩服。

 

1. 内核初始化：

    * 内核建立好内核页目录页表数据库，假设物理内存大小为len，则建立了[3G--3G+len]::[0--len]这样的虚地址vaddr和物理地址paddr的线性对应关系；
    * 内核建立一个page数组，page数组和物理页面系列完全是线性对应，page用来管理该物理页面状态，每个物理页面的虚地址保存在page->virtual中；
    * 内核建立好一个free_list，将没有使用的物理页面对应的page放入其中，已经使用的就不用放入了；

2. 内核模块申请内存vaddr = get_free_pages(mask,order)：

    * 内存管理模块从free_list找到一个page，将page->virtual作为返回值，该返回值就是对应物理页面的虚地址；
    * 将page从free_list中脱离；
    * 模块使用该虚拟地址操作对应的物理内存；

3. 内核模块使用vaddr，例如执行指令mov(eax, vaddr)：

    * CPU获得vaddr这个虚地址，利用建立好的页目录页表数据库，找到其对应的物理内存地址；
    * 将eax的内容写入vaddr对应的物理内存地址内；

4. 内核模块释放内存free_pages(vaddr,order)：

    * 依据vaddr找到对应的page；
    * 将该page加入到free_list中；

5. 用户进程申请内存vaddr = malloc(size)：

    * 内存管理模块从用户进程内存空间(0--3G)中找到一块还没使用的空间vm_area_struct(start--end)；
    * 随后将其插入到task->mm->mmap链表中；

6. 用户进程写入vaddr(0-3G)，例如执行指令mov(eax, vaddr)：

    * CPU获得vaddr这个虚地址，该虚地址应该已经由glibc库设置好了，一定在3G一下的某个区域，根据CR3寄存器指向的current->pgd查当前进程的页目录页表数据库，发现该vaddr对应的页目录表项为0，故产生异常；
    * 在异常处理中，发现该vaddr对应的vm_area_struct已经存在，为vaddr对应的页目录表项分配一个页表；
    * 随后从free_list找到一个page，将该page对应的物理页面物理首地址赋给vaddr对应的页表表项，很明显，此时的vaddr和paddr不是线性对应关系了；
    * 将page从free_list中脱离；
    * 异常处理返回；
    * CPU重新执行刚刚发生异常的指令mov(eax, vaddr)；
    * CPU获得vaddr这个虚地址，根据CR3寄存器指向的current->pgd，利用建立好的页目录页表数据库，找到其对应的物理内存地址；
    * 将eax的内容写入vaddr对应的物理内存地址内；  

7. 用户进程释放内存vaddr，free(vaddr)：

    * 找到该vaddr所在的vm_area_struct；
    * 找到vm_area_struct:start--end对应的所有页目录页表项，清空对应的所有页表项；
    * 释放这些页表项指向物理页面所对应的page，并将这些page加入到free_list队列中；
    * 有必要还会清空一些页目录表项，并释放这些页目录表项指向的页表；
    * 从task->mm->mmap链中删除该vm_area_struct并释放掉；

综合说明：

    * 可用物理内存就是free_list中各page对应的物理内存；
    * 页目录页表数据库的主要目的是为CPU访问物理内存时转换vaddr-->paddr使用，分配以及释放内存时不会用到，但是需要内核内存管理系统在合适时机为CPU建立好该库；
    * 对于用户进程在6中获得的物理页面，有两个页表项对应，一个就是内核页目录页表数据库的某个pte[i ]，一个就是当前进程内核页目录页表数据库的某个 pte[j]，但是只有一个page和其对应。如果此时调度到其他进程，其他进程申请并访问某个内存，则不会涉及到该物理页面，因为其分配时首先要从 free_list中找一个page，而该物理页面对应的page已经从free_list中脱离出来了，因此不存在该物理页面被其他进程改写操作的情况。内核中通过get_free_pages等方式获取内存时，也不会涉及到该物理页面，原理同前所述。