通常情况下,我们使用文件读写函数对文件进行处理,比如Win32 API 的CreateFile()、WriteFile()、ReadFile()等。
但是对于某些特殊应用领域,需要几十GB、几百GB的海量存储,常规处理方法显然行不通了,目前对于这种大文件的操作一般是以内存映射的方式来加以处理的。
CreateFile():用来创建一个读文件的句柄;
CreateFileMapping():创建一个文件映射对象;
MapViewOfFile(): 获得文件第一个字节的指针,通过该指针可以得到文件中的全部内容;
最后,CloseHandle()关闭文件对象和文件映射对象;
UnmapViewOfFile():用来释放文件数据映射。
在书上看了几个例子,虽然对小型文件访问成功,但是对于大型文件就不行了——出错,可见作者也没有真正将“访问大型文件”的优势,在代码中体现出来——如果仅仅是读取小文件、几个字节,我何必使用文件映射这么麻烦的手段呢?
不过好在天无绝人之路,一边自己尝试、一边google相关的资料,终于解决了大型文件访问的问题;我映射了一个2GB的ghost文件,成功......
在此感谢:http://tech.ccidnet.com/art/1081/20060410/501669_1.html (搜索:MapViewOfFile、大型文件映射、映射文件、代码,找到这篇文章,其中部分文字描述与书上雷同)
SYSTEM_INFO sinf; GetSystemInfo(&sinf); DWORD dwAllocationGranularity = sinf.dwAllocationGranularity; // 创建文件内核对象,其句柄保存于hFile HANDLE hFile = CreateFile("d://sys.GHO", GENERIC_WRITE | GENERIC_READ, FILE_SHARE_READ, NULL, CREATE_ALWAYS, FILE_FLAG_SEQUENTIAL_SCAN, NULL); // 创建文件映射内核对象,句柄保存于hFileMapping HANDLE hFileMapping = CreateFileMapping(hFile,NULL,PAGE_READWRITE, 0, 0x4000000, NULL); // 释放文件内核对象 CloseHandle(hFile); // 设定大小、偏移量等参数 __int64 qwFileSize = 0x4000000; __int64 qwFileOffset = 0; __int64 T = 600 * sinf.dwAllocationGranularity; DWORD dwBytesInBlock = 1000 * sinf.dwAllocationGranularity; // 将文件数据映射到进程的地址空间 PBYTE pbFile = (PBYTE)MapViewOfFile(hFileMapping, FILE_MAP_ALL_ACCESS, (DWORD)(qwFileOffset>>32), (DWORD)(qwFileOffset&0xFFFFFFFF), dwBytesInBlock);
这里有一个简单例子:http://www.cnblogs.com/stuarts/archive/2010/07/08/1773844.html
说它简单,因为:1. 数据样本简单(整个文件中全部是int数);2. 排序算法简单(冒泡)。
程序功能:将外部文件映射为一块内存,使用指针排序。
该例子说明:1 使用内存映射文件,可以避免“外排序”算法复杂度较高的尴尬;2 实现代码简单、结构清晰。
C#里面使用Read、ReadLine方法、Stream类库,可以很方便地读取、写入大于4G的文件(未编程验证)。