Windows API笔记（五）管理虚拟内存

Windows API笔记（一）内核对象
Windows API笔记（二）进程和进程间通信、进程边界
Windows API笔记（三）线程和线程同步、线程局部存储
Windows API笔记（四）win32内存结构
Windows API笔记（五）虚拟内存
Windows API笔记（六）内存映射文件
Windows API笔记（七）堆
Windows API笔记（八）文件系统
Windows API笔记（九）窗口消息
Windows API笔记（十）动态链接库
Windows API笔记（十一）设备I/O

---

---

首先要搞清楚【虚拟内存、交换文件、页面文件、RAM、物理存储、虚拟地址空间】这几个概念！

虚拟内存是操作系统的内存管理方式，对上层应用屏蔽了页面文件与RAM的区别与调度方式。
先看看操作系统，再来说吧！（PageFile.sys）

0. Windows操作系统中的内存结构

在没有充分的理解函数集合是如何工作的以及它们各自是如何影响操作系统的情况下，在你的应用程序中确定用于管理内存的函数或函数集合是很困难的。本文件重点介绍虚拟内存（Virtual Memory）以及如何使用它们，它们的是如何与操作系统交互的。

仔细看上图，CRT只提供了操Heap Memory API上的内存操纵方式（malloc/free、new/delete等）。

Win32提供下列3中操纵内存的机制：

• 虚拟内存（Virtual Memory API，VirtualAlloc、VirtualFree等），适合于管理大的对象数据或结构
• 内存映射文件（Memory Mapped File API，CreateFileMapping、MapViewOfFile等），最适合于管理大的数据流（通常来自文件）和在多个进程间共享数据
• 堆（Heap Memory API，HeapCreate、HeapAlloc等；Local、Global Memory API在Windows NT上已经没有了，不分局部堆与全局堆，只有一种类型的堆），最适合于管理大量的小对象

本文的重点：

• 保留（reserve）、提交（commit）和释放（free）虚拟内存
• 修改虚拟内存页（Page）的保护属性
• 虚拟内存页加锁（Lock）
• 查询应用程序的虚拟内存

注意：虚拟内存指的是操作系统对上层应用提供的内存抽象，是内存管理的一种方式，与Windows系统属性中虚拟内存不是一回事。Windows系统属性中的虚拟内存是指分页文件（PageFile.sys）。

1. 在地址空间中保留区域

LPVOID
VirtualAlloc(
    _In_opt_ LPVOID lpAddress,	// 按64-KB向上取整
    _In_     SIZE_T dwSize,
    _In_     DWORD flAllocationType,
    _In_     DWORD flProtect
    )

可以指定保留起始位置，也可以由系统自动分配lpAddress = NULL
可以指定在最高内存地址保留区域，flAllocationType = MEM_TOP_DOWN | MEM_RESERVE 且 lpAddress = NULL
成功返回地址，失败返回NULL

保留区域不占用任何物理存储。

2. 在保留区域中提交存储

flAllocationType = MEM_COMMIT

3. 同时保留区域和提交存储

flAllocationType = MEM_COMMIT | MEM_RESERVE

4. 何时提交存储

要决定是否应该提交存储有4种方法：

• 总是试图提交物理存储。系统会首先检查该处是否已经提交了存储，如果是就不会再提交了。这是最简单的方法，但是每次改变都要额外调用VirtualAlloc，就会使程序的执行速度减慢。
• 判断（用VirtualQuery函数）物理存储是否已经被提交。如果是，则什么也不做；否则就调用VirtualAlloc来提交存储。这实际比第一种方法还差。由于额外调用了VirtualQuery，它既增加了代码的长度，又减慢了程序的速度。
• 保存一份记录，说明哪些页已经被提交，哪些还没有。这样能使程序更快一些。避免了调用VirtualAlloc，程序能更快地判断存储是否被提交了。缺点在于需要保持一份页面提交信息地记录，其复杂程序根据具体情况而定。
• 最好的方法是利用结构化异常处理（SEH，Structured Except：on Handing)。SEH是Win32的一个特性，它使得系统在特定情况发生时通知应用程序。简单地说，先建立一个有异常处理的应用程序，然后，当试图访问未提交的内存时，系统就会把问题通知给应用程序。应用程序然后提交内存，再让系统重试引起异常地指令。这次内存访问成功了，程序可以继续执行，就像没发生过问题一样。这种方法是最好地，因为它需要很少地代码，而且程序可以全速运行。

5. 释放物理存储和释放区域

VirtualFree可用于释放区域和释放物理存储。

BOOL
VirtualFree(
    LPVOID lpAddress,
    SIZE_T dwSize,
    DWORD dwFreeType
    );

• 释放区域时，必须释放该区域保留的所有地址空间。释放区域会同时释放提交的物理存储。
  lpAddress : 被分配的区域的基本地址
  dwSize : 0
  dwFreeType : MEM_RELEASE
• 释放物理存储时，像提交一样，释放也是以页为单位的。
  lpAddress : 要被释放的第一页的地址
  dwSize : 要被释放的字节数
  dwFreeType : MEM_DECOMMIT
• 释放全部物理存储
  lpAddress : 被分配的区域的基本地址
  dwSize : 0
  dwFreeType : MEM_DECOMMIT

5.1 何时释放物理存储

三种不同的方法释放物理存储：

1. 设计一个大小正好为整数页的数据结构，当不需要该结构种的数据时，就可以释放该页的物理存储。
2. 保存一个结构使用记录。当不需要一个结构时，修改记录为未被使用，然后判断所在页的记录是否都未被使用，如果是则释放该页的物理存储。
3. 使用一个垃圾收集函数。周期性地调用垃圾回收函数。该函数遍历所有可能地数据结构，检查完给定页中所有地结构之后，如果所有这些结构都未被使用，它就调用VirtualFree来释放存储。使用这个函数比较好地方式是让它以低优先级线程方式运行。这样就不必担心它会从主应用线程中占用很多地时间。

5.2 虚拟内存分配范例应用程序

/*虚拟内存使用范例*/

#include 
#include 
#include 

using namespace std;

char *str = "hello world";

int main()
{
    LPVOID mem_ptr = NULL;
    // 保留区域
    mem_ptr = VirtualAlloc(NULL, 1024 * 512, MEM_RESERVE | MEM_TOP_DOWN, PAGE_READWRITE);
    if (NULL == mem_ptr)
    {
        printf("reserve failed\n");
        return -1;
    }

    printf("reserve address : 0x%X\n", mem_ptr);

    int len = strlen(str);
    LPVOID mem_cmt = NULL;
    // 提交物理存储，系统提交了4k的存储，最小是4k
    mem_cmt = VirtualAlloc(mem_ptr, len + 1, MEM_COMMIT, PAGE_READWRITE);
    if (NULL == mem_cmt)
    {
        printf("reserve failed\n");
    }
    else
    {
        printf("commit address : 0x%X\n", mem_cmt);

        // 初始化内存区域
        memset(mem_cmt, 0, 1024 * 4); // 系统最小提交4k存储，改成 1024 * 4 + 1 将会出错

        // 写入数据到指定内存区域
        memcpy(mem_cmt, str, len);

        // 读取内存区域
        printf("read data : %s\n", mem_cmt);
    }

    LPVOID mem_cmt2 = NULL;

    char *ptr = (char *)mem_ptr;
    ptr += 1024 * 5;
    printf("startPtr address : 0x%X\n", ptr);

    MEMORY_BASIC_INFORMATION info;
    // 判断是否提交
    DWORD dwNumByte = VirtualQuery(ptr, &info, sizeof(info));

    printf("BaseAddress 0x%X , AllocationBase 0x%X \n", info.BaseAddress, info.AllocationBase);
    if (info.State == MEM_COMMIT)
    {
        printf("address 0x%X has committed,Page BaseAddress 0x%X\n", ptr, info.BaseAddress);
    }
    else
    {
        // 提交物理存储
        mem_cmt2 = VirtualAlloc(ptr, len + 1, MEM_COMMIT, PAGE_READWRITE);
        if (NULL == mem_cmt2)
        {
            printf("reserve failed  %ld\n", GetLastError());
        }
        else
        {
            printf("commit address : 0x%X\n", mem_cmt2);

            // 初始化内存区域
            memset(mem_cmt2, 0, len + 1);

            // 写入数据到指定内存区域
            memcpy(mem_cmt2, str, len);

            // 读取内存区域
            printf("read data 2 : %s\n", mem_cmt2);
        }

        // 释放提交
        VirtualFree(ptr, len + 1, MEM_DECOMMIT);

        memset(&info, 0, sizeof(info));
        // 判断是否提交
        DWORD dwNumByte = VirtualQuery(ptr, &info, sizeof(info));

        printf("BaseAddress 0x%X , AllocationBase 0x%X \n", info.BaseAddress, info.AllocationBase);
        if (info.State == MEM_COMMIT)
        {
            printf("address 0x%X has committed,Page BaseAddress 0x%X\n", ptr, info.BaseAddress);
        }
        else
        {
            printf("address 0x%X has not commit\n", ptr);
        }
    }

    // 释放保留区域
    VirtualFree(mem_ptr, 0, MEM_RELEASE);
    return 0;
}