IOCP模型总结
IOCP（I/O Completion Port，I/O完成端口）是性能最好的一种I/O模型。它是应用程序使用线程池处理异步I/O请求的一种机制。在处理多个并发的异步I/O请求时，以往的模型都是在接收请求是创建一个线程来应答请求。这样就有很多的线程并行地运行在系统中。而这些线程都是可运行的，Windows内核花费大量的时间在进行线程的上下文切换，并没有多少时间花在线程运行上。再加上创建新线程的开销比较大，所以造成了效率的低下。
调用的步骤如下:
抽象出一个完成端口大概的处理流程：
1：创建一个完成端口。
2：创建一个线程A。
3：A线程循环调用GetQueuedCompletionStatus()函数来得到IO操作结果，这个函数是个阻塞函数。
4：主线程循环里调用accept等待客户端连接上来。
5：主线程里accept返回新连接建立以后，把这个新的套接字句柄用CreateIoCompletionPort关联到完成端口，然后发出一个异步的 WSASend或者WSARecv调用，因为是异步函数，WSASend/WSARecv会马上返回，实际的发送或者接收数据的操作由WINDOWS系统去做。
6：主线程继续下一次循环，阻塞在accept这里等待客户端连接。
7：WINDOWS系统完成WSASend或者WSArecv的操作，把结果发到完成端口。
8：A线程里的GetQueuedCompletionStatus()马上返回，并从完成端口取得刚完成的WSASend/WSARecv的结果。
9：在A线程里对这些数据进行处理(如果处理过程很耗时，需要新开线程处理)，然后接着发出WSASend/WSARecv，并继续下一次循环阻塞在GetQueuedCompletionStatus()这里。
归根到底概括完成端口模型一句话：
我们不停地发出异步的WSASend/WSARecv IO操作，具体的IO处理过程由WINDOWS系统完成，WINDOWS系统完成实际的IO处理后，把结果送到完成端口上（如果有多个IO都完成了，那么就在完成端口那里排成一个队列）。我们在另外一个线程里从完成端口不断地取出IO操作结果，然后根据需要再发出WSASend/WSARecv IO操作。
而IOCP模型是事先开好了N个线程，存储在线程池中，让他们hold。然后将所有用户的请求都投递到一个完成端口上，然后N个工作线程逐一地从完成端口中取得用户消息并加以处理。这样就避免了为每个用户开一个线程。既减少了线程资源，又提高了线程的利用率。
完成端口模型是怎样实现的呢？我们先创建一个完成端口（::CreateIoCompletioPort()）。然后再创建一个或多个工作线程，并指定他们到这个完成端口上去读取数据。我们再将远程
连接的套接字句柄关联到这个完成端口（还是用::CreateIoCompletionPort()）。一切就 OK了。
工作线程都干些什么呢？首先是调用::GetQueuedCompletionStatus()函数在关联到这个完成端口上的所有套接字上等待I/O的完成。再判断完成了什么类型的I/O。一般来说，有三种类型的I/O，OP_ACCEPT，OP_READ和OP_WIRTE。我们到数据缓冲区内读取数据后，再投递一个或是多个同类型的I/O即可（::AcceptEx()、::WSARecv()、::WSASend()）。对读取到的数据，我们可以按照自己的需要来进行相应的处理。
为此，我们需要一个以OVERLAPPED（重叠I/O）结构为第一个字段的per-I/O数据自定义结构。
2 {
3 OVERLAPPED ol; // 重叠I/O结构
4 char buf[BUFFER_SIZE]; // 数据缓冲区
5 int nOperationType; // I/O操作类型
6 #define OP_READ 1
7 #define OP_WRITE 2
8 #define OP_ACCEPT 3
9 } PER_IO_DATA, * PPER_IO_DATA;
将一个PER_IO_DATA结构强制转化成一个OVERLAPPED结构传给::GetQueuedCompletionStatus()函数，返回的这个PER_IO_DATA结构的的nOperationType就是I/O操作的类型。当然，这些类型都是在投递I/O请求时自己设置的。
这样一个IOCP服务器的框架就出来了。当然，要做一个好的IOCP服务器，还有考虑很多问题，如内存资源管理、接受连接的方法、恶意的客户连接、包的重排序等等。以上是个人对于IOCP模型的一些理解与看法，还有待完善。另外各Winsock API的用法参见MSDN。
补充IOCP模型的实现：
//创建一个完成端口
HANDLE FCompletPort = CreateIoCompletionPort( INVALID_HANDLE_VALUE, 0,0,0 );
//接受远程连接，并把这个连接的socket句柄绑定到刚才创建的IOCP上
AConnect = accept( FListenSock, addr, len);
CreateIoCompletionPort( AConnect, FCompletPort, NULL, 0 );
//创建CPU数*2 + 2个线程
SYSTEM_INFO si;
GetSystemInfo(&si);
for (int i=1;si.dwNumberOfProcessors*2+2;i++)
{
AThread = TRecvSendThread.Create( false );
AThread.CompletPort = FCompletPort;//告诉这个线程，你要去这个IOCP去访问数据
}
OK，就这么简单，我们要做的就是建立一个IOCP，把远程连接的socket句柄绑定到刚才创建的IOCP上，最后创建n个线程，并告诉这n个线程到这个IOCP上去访问数据就可以了。
再看一下TRecvSendThread线程都干些什么：
void TRecvSendThread.Execute(...)
{
while (!self.Terminated)
{
//查询IOCP状态（数据读写操作是否完成）
GetQueuedCompletionStatus( CompletPort, BytesTransd, CompletKey, POVERLAPPED(pPerIoDat), TIME_OUT );
if (BytesTransd !=0) .......
....;//数据读写操作完成
//再投递一个读数据请求
WSARecv( CompletKey, &(pPerIoDat->BufData), 1, BytesRecv, Flags, &(pPerIoDat->Overlap), NULL );
}
}
读写线程只是简单地检查IOCP是否完成了我们投递的读写操作，如果完成了则再投递一个新的读写请求。应该注意到，我们创建的所有TRecvSendThread都在访问同一个IOCP（因为我们只创建了一个IOCP），并且我们没有使用临界区！难道不会产生冲突吗？不用考虑同步问题吗？呵呵，这正是IOCP的奥妙所在。IOCP不是一个普通的对象，不需要考虑线程安全问题。它会自动调配访问它的线程：如果某个socket上有一个线程A正在访问，那么线程B的访问请求会被分配到另外一个socket。这一切都是由系统自动调配的，我们无需过问。
实例:
简单实现，适合IOCP入门
参考：《WINDOWS网络与通信程序设计》
2 *
3 * Copyright (c) 2008, xxxxx有限公司
4 * All rights reserved.
5 *
6 * 文件名称：IOCPHeader.h
7 * 摘 要： IOCP定义文件
8 *
9 * 当前版本：1.0
10 * 作 者：吴会然
11 * 完成日期：2008-9-16
12 *
13 * 取代版本：
14 * 原 作者：
15 * 完成日期：
16 *
17 ***************************************************************** */
18
19 #ifndef _IOCPHEADER_H_20080916_
20 #define _IOCPHEADER_H_20080916_
21
22 #include < WINSOCK2.H >
23 #include < windows.h >
24
25 #define BUFFER_SIZE 1024
26
27 /* *****************************************************************
28 * per_handle 数据
29 ****************************************************************** */
30 typedef struct _PER_HANDLE_DATA
31 {
32 SOCKET s; // 对应的套接字句柄
33 sockaddr_in addr; // 对方的地址
34
35 }PER_HANDLE_DATA, * PPER_HANDLE_DATA;
36
37 /* *****************************************************************
38 * per_io 数据
39 ****************************************************************** */
40 typedef struct _PER_IO_DATA
41 {
42 OVERLAPPED ol; // 重叠结构
43 char buf[BUFFER_SIZE]; // 数据缓冲区
44 int nOperationType; // 操作类型
45
46 #define OP_READ 1
47 #define OP_WRITE 2
48 #define OP_ACCEPT 3
49
50 }PER_IO_DATA, * PPER_IO_DATA;
51
52 #endif
53
54 /* *****************************************************************
55 *
56 * Copyright (c) 2008, xxxxx有限公司
57 * All rights reserved.
58 *
59 * 文件名称：main.cpp
60 * 摘 要： iocp demo
61 *
62 * 当前版本：1.0
63 * 作 者：吴会然
64 * 完成日期：2008-9-16
65 *
66 * 取代版本：
67 * 原 作者：
68 * 完成日期：
69 *
70 ***************************************************************** */
71
72 #include < iostream >
73 #include < string >
74 #include " IOCPHeader.h "
75 using namespace std;
76
77 DWORD WINAPI ServerThread( LPVOID lpParam );
78
79 int main( int argc, char * argv[] )
80 {
81 //////////////////////////////////////////////////////////////////////// //
82 WSADATA wsaData;
83
84 if ( 0 != WSAStartup( MAKEWORD( 2 , 2 ), & wsaData ) )
85 {
86 printf( " Using %s (Status:%s)/n " , wsaData.szDescription, wsaData.szSystemStatus );
89 printf( " with API versions: %d.%d to %d.%d " ,
90 LOBYTE( wsaData.wVersion), HIBYTE( wsaData.wVersion ),
91 LOBYTE( wsaData.wHighVersion), HIBYTE( wsaData.wHighVersion) );
92
93 return - 1 ;
94 }
95 else
96 {
97 printf( " Windows sockets 2.2 startup/n " );
98 }
99 //////////////////////////////////////////////////////////////////////// //
100
101 int nPort = 20055 ;
102
103 // 创建完成端口对象
104 // 创建工作线程处理完成端口对象的事件
105 HANDLE hIocp = ::CreateIoCompletionPort( INVALID_HANDLE_VALUE, 0 , 0 , 0 );
106 ::CreateThread( NULL, 0 , ServerThread, (LPVOID)hIocp, 0 , 0 );
107
108 // 创建监听套接字，绑定本地端口，开始监听
109 SOCKET sListen = ::socket( AF_INET, - SOCK_STREAM, 0 );
110
111 SOCKADDR_IN addr;
112 addr.sin_family = AF_INET;
113 addr.sin_port = ::htons( nPort );
114 addr.sin_addr.S_un.S_addr = INADDR_ANY;
115 ::bind( sListen, (sockaddr * ) & addr, sizeof ( addr ) );
116 ::listen( sListen, 5 );
117
118 printf( " iocp demo start
/n
"
);119
120 // 循环处理到来的请求
121 while ( TRUE )
122 {
123 // 等待接受未决的连接请求
124 SOCKADDR_IN saRemote;
125 int nRemoteLen = sizeof ( saRemote );
126 SOCKET sRemote = ::accept( sListen, (sockaddr * ) & saRemote, & nRemoteLen );
127
128 // 接受到新连接之后，为它创建一个per_handle数据，并将他们关联到完成端口对 象
131 PPER_HANDLE_DATA pPerHandle = ( PPER_HANDLE_DATA )::GlobalAlloc( GPTR, sizeof ( PPER_HANDLE_DATA ) );
134 if ( pPerHandle == NULL )
135 {
136 break ;
137 }
138
139 pPerHandle -> s = sRemote;
140 memcpy( & pPerHandle -> addr, & saRemote, nRemoteLen );
141
142 ::CreateIoCompletionPort( ( HANDLE)pPerHandle -> s, hIocp, (DWORD) pPerHandle, 0 );
145
146 // 投递一个接受请求
147 PPER_IO_DATA pIoData = ( PPER_IO_DATA )::GlobalAlloc( GPTR, sizeof ( PPER_IO_DATA ) );
150 if ( pIoData == NULL )
151 {
152 break ;
153 }
154
155 pIoData -> nOperationType = OP_READ;
156 WSABUF buf;
157 buf.buf = pIoData -> buf;
158 buf.len = BUFFER_SIZE;
159
160 DWORD dwRecv = 0 ;
161 DWORD dwFlags = 0 ;
162
163 ::WSARecv( pPerHandle -> s, & buf, 1 , & dwRecv, & dwFlags, & pIoData -> ol, NULL );
167 }
168
169 //////////////////////////////////////////////////////////////////////// //
170 ERROR_PROC:
171 WSACleanup();
172 //////////////////////////////////////////////////////////////////////// //
173
174 return 0 ;
175 }
176
177 /* *****************************************************************
178 * 函数介绍：处理完成端口对象事件的线程
179 * 输入参数：
180 * 输出参数：
181 * 返回值 ：
182 ****************************************************************** */
183 DWORD WINAPI ServerThread( LPVOID lpParam )
184 {
185 HANDLE hIocp = ( HANDLE )lpParam;
186 if ( hIocp == NULL )
187 {
188 return - 1 ;
189 }
190
191 DWORD dwTrans = 0 ;
192 PPER_HANDLE_DATA pPerHandle;
193 PPER_IO_DATA pPerIo;
194
195 while ( TRUE )
196 {
197 // 在关联到此完成端口的所有套接字上等待I/O完成
198 BOOL bRet = ::GetQueuedCompletionStatus( hIocp, & dwTrans, (LPDWORD) & pPerHandle, (LPOVERLAPPED * ) & pPerIo, WSA_INFINITE );
201 if ( ! bRet ) // 发生错误
202 {
203 ::closesocket( pPerHandle -> s );
204 ::GlobalFree( pPerHandle );
205 ::GlobalFree( pPerIo );
206
207 cout << " error " << endl;
208 continue ;
209 }
210
211 // 套接字被对方关闭
212 if ( dwTrans == 0 && ( pPerIo -> nOperationType == OP_READ || pPerIo - > nOperationType & nb - sp; == OP_WRITE ) )
215 {
216 ::closesocket( pPerHandle -> s );
217 ::GlobalFree( pPerHandle );
218 ::GlobalFree( pPerIo );
219
220 cout << " client closed " << endl;
221 continue ;
222 }
223
224 switch ( pPerIo -> nOperationType )
225 {
226 case OP_READ: // 完成一个接收请求
227 {
228 pPerIo -> buf[dwTrans] = ' /0 ' ;
229 printf( " %s/n " , pPerIo -> buf );
230
231 // 继续投递接受操作
232 WSABUF buf;
233 buf.buf = pPerIo -> buf;
234 buf.len = BUFFER_SIZE;
235 pPerIo -> nOperationType = OP_READ;
236
237 DWORD dwRecv = 0 ;
238 DWORD dwFlags = 0 ;
239
240 ::WSARecv( pPerHandle -> s, & buf, 1 , & dwRecv, & dwFlags, & pPerIo - > ol, NULL );
244 }
245 break ;
246 case OP_WRITE:
247 case OP_ACCEPT:
248 break ;
249
250 }
251
252 }
253
254 return 0 ;
255 }
本文转自：http://blog.csdn.net/shigaopb/article/details/6114163