共享内存实现进程间大数据的交换

共享内存实现进程间大数据的交换

 

　　 引言

　　进程间的数据交换和共享是一种非常重要和实用的技术。大、中型 软件的开发 设计多是由众多 程序设计人员的合作完成，通常一个程序设计人员只负责其中一个或几个模块的开发，这些模块可以是动态链接库也可以是应用程序或是其他形式的程序组件。这些独立开发出来的程序模块最终需要作为一个整体来运行，即组成一个系统，在系统运行期间这些模块往往需要频繁地进行数据交换和数据共享，对于动态链接库同其主调应用程序之间的数据交换是非常容易实现的，但是在两个应用程序之间或是动态链接库同其主调应用程序之外的其他应用程序进行数据交换就比较困难了。尤其是在交换数据量过大、交换过于频繁的情况下更是难以实现，本文即对此展开讨论，并提出了一种通过共享内存来实现进程见大数据量快速交换的一种方法。

　　 通讯方式的比较和选择

　　进程间通讯的方式有很多，常用的有共享内存、命名管道和匿名管道、发送消息等几种方法来直接完成，另外还可以通过socket口、配置文件和注册表等来间接实现进程间数据通讯任务。以上这几种方法各有优缺点，具体到在进程间进行大数据量数据的快速交换问题上，则可以排除使用配置文件和注册表的方法；另外，由于管道和socket套接字的使用需要有 网卡的支持，因此也可以不予考虑。这样，可供选择的通讯方式只剩下共享内存和发送消息两种。由于数据量比较大，这样在使用消息进行通讯时就无法通过消息参数将数据直接携带到接收方，只能以地址传送的方式进行。当一个应用程序向另一个应用程序发送数据时将会发出WM_COPYDATA系统消息，因此可以考虑通过向消息队列插入WM_COPYDATA消息的方法来实现数据在进程间的拷贝。

　　在使用WM_COPYDATA消息时，由第一个消息参数指定发送窗口的句柄，第二个消息参数则为一同数据相关的数据结构COPYDATASTRUCT的指针，此结构原形声明如下：

typedef struct tagCOPYDATASTRUCT { DWORD dwData; DWORD cbData; PVOID lpData; } COPYDATASTRUCT;

　　其中，只需将待发送数据的首地址赋予lpData、并由cbData指明数据块长度即可。消息发出后，接收方程序在WM_COPYDATA消息的响应函数中通过随消息传递进来的第二个参数完成对数据块的接收。但是在使用WM_COPYDATA消息时，只能用SendMessage()函数发送而不能使用PostMessage()，这两个函数虽然功能非常相似都是负责向指定的窗口发送消息，但是SendMessage()函数发出消息后不是马上返回，而是在接收方的消息响应函数处理完之后才能返回，并能够得到返回结果。在此期间发送方程序将被阻塞，SendMessage()后面的语句不能被继续执行。而PostMessage()函数在发出消息后马上返回，其后语句能够被立即执行，但是无法获取消息的执行结果。可见，在交换数据量较大的情况下实现数据频繁而又快速的交换用发送WM_COPYDATA消息的方法也是不合适的，当数据传输过于频繁时将有可能导致数据的丢失。

　　比之以上几种进程间通讯方法，共享内存有着明显的优势。共享内存是通过直接操作内存映射文件来进行的，而内存映射文件又是进行单机数据共享的最低层机制，前面几种数据交换方式在低层都是通过内存映射文件来进行的。因此使用共享内存可以以较小的开销获取较高的性能，是进行大数据量数据快速交换的最佳方案。

 

　　 共享内存的使用

　　在Windows 操作系统下，任何一个进程不允许读取、写入或是修改另一个进程的数据（包括变量、对象和内存分配等），但是在某个进程内创建的文件映射对象的视图却能够为多个其他进程所映射，这些进程共享的是物理存储器的同一个页面。因此，当一个进程将数据写入此共享文件映射对象的视图时，其他进程可以立即获取数据变更情况。为了进一步提高数据交换的速度，还可以采用由系统页文件支持的内存映射文件而直接在内存区域使用，显然这种共享内存的方式是完全可以满足在进程间进行大数据量数据快速传输任务要求的。下面给出在两个相互独立的进程间通过文件映射对象来分配和访问同一个共享内存块的应用实例。在本例中，由发送方 程序负责向接收方程序发送数据，文件映射对象由发送方创建和关闭，并且指定一个唯一的名字供接收程序使用。接收方程序直接通过这个唯一指定的名字打开此文件映射对象，并完成对数据的接收。

　　在发送方程序中，首先通过CreateFileMapping()函数创建一个内存映射文件对象，如果创建成功则通过MapViewOfFile()函数将此文件映射对象的视图映射进地址空间，同时得到此映射视图的首址。可见，共享内存的创建主要是通过这两个函数完成的。这两个函数原形声明如下：

HANDLE CreateFileMapping(HANDLE hFile, LPSECURITY_ATTRIBUTES lpFileMappingAttributes, DWORD flProtect, DWORD dwMaximumSizeHigh, DWORD dwMaximumSizeLow, LPCTSTR lpName); LPVOID MapViewOfFile(HANDLE hFileMappingObject, DWORD dwDesiredAccess, DWORD dwFileOffsetHigh, DWORD dwFileOffsetLow, DWORD dwNumberOfBytesToMap);

　　CreateFileMapping()函数参数hFile指定了待映射到进程地址空间的文件句柄，如果为无效句柄则系统会创建一个使用来自页文件而非指定磁盘文件存储器的文件映射对象。很显然，在本例中为了数据能快速交换，需要人为将此参数设定为INVALID_HANDLE_VALUE；参数flProtect设定了系统对页面采取的保护属性，由于需要进行读写操作，因此可以设置保护属性PAGE_READWRITE；双字型参数dwMaximumSizeHigh和dwMaximumSizeLow指定了所开辟共享内存区的最大字节数；最后的参数lpName用来给此共享内存设定一个名字，接收程序可以通过这个名字将其打开。MapViewOfFile()函数的参数hFileMappingObject为CreateFileMapping()返回的内存文件映像对象句柄；参数dwDesiredAccess再次指定对其数据的访问方式，而且需要同CreateFileMapping()函数所设置的保护属性相匹配。这里对保护属性的重复设置可以确保应用程序能更多的对数据的保护属性进行有效控制。下面给出创建共享内存的部分关键代

hRecvMap = CreateFileMapping(INVALID_HANDLE_VALUE, NULL, PAGE_READWRITE | SEC_COMMIT, 0, 1000000, "DataMap"); if (hRecvMap != NULL) { lpData = (LPBYTE)MapViewOfFile(hRecvMap, FILE_MAP_WRITE, 0, 0, 0); if (lpData == NULL) { CloseHandle(hRecvMap); hRecvMap = NULL; } } // 通知接收程序内存文件映射对象的视图已经打开 HWND hRecv = ::FindWindow(NULL, DECODE_PROGRAMM); if (hRecv != NULL) ::PostMessage(hRecv, WM_MAP_OPEN, 0, 0);

　　数据的传送实际是将数据从发送方写到共享内存中，然后由接收程序及时从中取走即可。数据从发送方程序写到共享内存比较简单，只需用memcpy()函数将数据拷贝过去，关键在于能及时通知接收程序数据已写入到共享内存，并让其即使取走。在这里仍采取消息通知的方式，当数据写入共享内存后通过PostMessage()函数向接收方程序发送消息，接收方在消息响应函数中完成对数据的读取：

// 数据复制到共享内存 memcpy(lpData, RecvBuf, sizeof(RecvBuf)); // 通知接收方接收数据 HWND hDeCode = ::FindWindow(NULL, DECODE_PROGRAMM); if (hDeCode != NULL) ::PostMessage(hDeCode, WM_DATA_READY, (WPARAM)0, (LPARAM)sizeof(RecvBuf));

　　当数据传输结束，即将退出程序时，需要将映射进来的内存文件映射对象视图卸载和资源的释放等处理。这部分工作主要由UnmapViewOfFile()和CloseHandle()等函数完成：

HWND hDeCode = ::FindWindow(NULL, DECODE_PROGRAMM); if (hDeCode != NULL) ::PostMessage(hDeCode, WM_MAP_CLOSE, 0, 0); if (lpData != NULL) { UnmapViewOfFile(lpData); lpData = NULL; } if (hRecvMap != NULL) { CloseHandle(hRecvMap); hRecvMap = NULL; }

　　在接收程序中，在收到由发送放发出的WM_MAP_OPEN消息后，由OpenFileMapping()函数打开由名字"DataMap"指定的文件映射对象，如果执行成功，继续用MapViewOfFile()函数将此文件映射对象的视图映射到接收应用程序的地址空间并得到其首址：

m_hReceiveMap = OpenFileMapping(FILE_MAP_READ, FALSE, "DataMap"); if (m_hReceiveMap == NULL) return; m_lpbReceiveBuf = (LPBYTE)MapViewOfFile(m_hReceiveMap,FILE_MAP_READ,0,0,0); if (m_lpbReceiveBuf == NULL) { CloseHandle(m_hReceiveMap); m_hReceiveMap=NULL; }

　　当发送方程序将数据写入到共享内存后，接收方将收到消息WM_DATA_READY，在响应函数中将数据从共享内存复制到本地缓存中，再进行后续的处理。同发送程序类似，在接收程序数据接收完毕后，也需要用UnmapViewOfFile()、CloseHandle()等函数完成对文件视图等打开过资源的释放：

// 从共享内存接收数据 memcpy(RecvBuf, (char*)(m_lpbReceiveBuf), (int)lParam); …… // 程序退出前资源的释放 UnmapViewOfFile(m_lpbReceiveBuf); m_lpbReceiveBuf = NULL; CloseHandle(m_hReceiveMap); m_hReceiveMap = NULL;

　　 小结

　　经实际测试，使用共享内存在处理大数据量数据的快速交换时表现出了良好的性能，在数据可靠性等方面要远远高于发送WM_COPYDATA消息的方式。这种大容量、高速的数据共享处理方式在 设计高速数传通讯类 软件中有着很好的使用效果。本文所述代码在Windows 2000下由Microsoft Visual C++ 6.0编译通过。