用内存映射文件读取大型文件

引言

通常情况下,我们使用文件读写函数对文件进行处理,比如Win32 API 的CreateFile()、WriteFile()、ReadFile()等。

但是对于某些特殊应用领域,需要几十GB、几百GB的海量存储,常规处理方法显然行不通了,目前对于这种大文件的操作一般是以内存映射的方式来加以处理的。

CreateFile():用来创建一个读文件的句柄;

CreateFileMapping():创建一个文件映射对象;

MapViewOfFile(): 获得文件第一个字节的指针,通过该指针可以得到文件中的全部内容

最后,CloseHandle()关闭文件对象和文件映射对象;

UnmapViewOfFile():用来释放文件数据映射。

实践

在书上看了几个例子,虽然对小型文件访问成功,但是对于大型文件就不行了——出错,可见作者也没有真正将“访问大型文件”的优势,在代码中体现出来——如果仅仅是读取小文件、几个字节,我何必使用文件映射这么麻烦的手段呢?

不过好在天无绝人之路,一边自己尝试、一边google相关的资料,终于解决了大型文件访问的问题;我映射了一个2GB的ghost文件,成功......

在此感谢:http://tech.ccidnet.com/art/1081/20060410/501669_1.html (搜索:MapViewOfFile、大型文件映射、映射文件、代码,找到这篇文章,其中部分文字描述与书上雷同)

SYSTEM_INFO sinf;
GetSystemInfo(&sinf);
DWORD dwAllocationGranularity = sinf.dwAllocationGranularity;
// 创建文件内核对象,其句柄保存于hFile
HANDLE hFile = CreateFile("d://sys.GHO",
GENERIC_WRITE | GENERIC_READ,
FILE_SHARE_READ, 
NULL,
CREATE_ALWAYS, 
FILE_FLAG_SEQUENTIAL_SCAN, 
NULL);
// 创建文件映射内核对象,句柄保存于hFileMapping
HANDLE hFileMapping = CreateFileMapping(hFile,NULL,PAGE_READWRITE, 
0, 0x4000000, NULL);
// 释放文件内核对象
CloseHandle(hFile);
// 设定大小、偏移量等参数
__int64 qwFileSize = 0x4000000;
__int64 qwFileOffset = 0;
__int64 T = 600 * sinf.dwAllocationGranularity;
DWORD dwBytesInBlock = 1000 * sinf.dwAllocationGranularity;
// 将文件数据映射到进程的地址空间
PBYTE pbFile = (PBYTE)MapViewOfFile(hFileMapping,
FILE_MAP_ALL_ACCESS,
(DWORD)(qwFileOffset>>32), (DWORD)(qwFileOffset&0xFFFFFFFF), dwBytesInBlock);

应用举例

这里有一个简单例子:http://www.cnblogs.com/stuarts/archive/2010/07/08/1773844.html 

说它简单,因为:1. 数据样本简单(整个文件中全部是int数);2. 排序算法简单(冒泡)。

程序功能:将外部文件映射为一块内存,使用指针排序。

该例子说明:1 使用内存映射文件,可以避免“外排序”算法复杂度较高的尴尬;2 实现代码简单、结构清晰。

替代方案

C#里面使用Read、ReadLine方法、Stream类库,可以很方便地读取、写入大于4G的文件(未编程验证)。

 

 

你可能感兴趣的:(api,Google,File,null,System,Access)