提高IOCP 效率的一些方法，技巧 (来自WINDOWS 网络编程第二版)

1. AcceptEx:

BOOL
PASCAL FAR
AcceptEx (
   IN SOCKET sListenSocket,
   IN SOCKET sAcceptSocket,
   IN PVOID lpOutputBuffer,
   IN DWORD dwReceiveDataLength,
   IN DWORD dwLocalAddressLength,
   IN DWORD dwRemoteAddressLength,
   OUT LPDWORD lpdwBytesReceived,
   IN LPOVERLAPPED lpOverlapped
   );

    用来发起一个异步的调用, 接受客户端将要发出的连接请求. 与 accept 不同的是, 你必须先手动创建一个 socket 提供给 AcceptEx, 用来接受连接 ( accept 是内在地创建一个 socket 接受连接, 并返回值 ). 而且, accept 创建的 socket 会自动继承监听 socket 的属性, AcceptEx 却不会. 因此如果有必要, 在 AcceptEx 成功接受了一个连接之后, 我们必须调用:

    setsockopt( hAcceptSocket, SOL_SOCKET, SO_UPDATE_ACCEPT_CONTEXT,  ( char* )&( hListenSocket ), sizeof( hListenSocket ) );

来做到这一点.

    AcceptEx 允许在接受连接的同时接收对方发来的第一组数据, 这当然是出于性能的考虑. 但是这时候 AcceptEx 最少要接收到一个字节的数据才会返回, 一旦碰到恶意连接它就永远不会返回了. 关闭这项功能的方式是: 把参数 dwReceiveDataLength 至为 0, 打开则相反. 当然了, 如果一定要启用这个功能, 我们也有防御的办法. 启动一个线程定时地检测每一个 AcceptEx 是否已经连接, 连接时间为多久, 以此判断对方是否是恐怖分子:

    int iSecs;
    int iBytes = sizeof( int );
    getsockopt( hAcceptSocket, SOL_SOCKET, SO_CONNECT_TIME, (char *)&iSecs, &iBytes );

iSecs 为 -1 表示还未建立连接, 否则就是已经连接的时间.

    调用 AcceptEx 的方式:

    #include <Mswsock.h>  // for WSAID_ACCEPTEX
    typedef BOOL ( WINAPI * PFNACCEPTEX ) ( SOCKET, SOCKET, PVOID, DWORD, DWORD, DWORD, LPDWORD, LPOVERLAPPED );
    PFNACCEPTEX pfnAcceptEx;
    DWORD dwBytes;
    GUID guidAcceptEx = WSAID_ACCEPTEX;
    ::WSAIoctl( hListenSocket, SIO_GET_EXTENSION_FUNCTION_POINTER, &guidAcceptEx, sizeof( guidAcceptEx ), &pfnAcceptEx, sizeof( pfnAcceptEx ), &dwBytes, NULL, NULL );

    DWORD uAddrSize = sizeof( SOCKADDR_IN ) + 16;
    DWORD uDataSize = 0;
    BOOL bRes = pfnAcceptEx( hListenSocket, hAcceptSocket, buffer, uDataSize, uAddrSize, uAddrSize, &uAddrSize, ( LPWSAOVERLAPPED )overlapped );

    其中, buffer 和 overlapped 要根据你自己的用途来定了, 这里只是拿来充数.

    一旦 AcceptEx 调用完成 ( 通过完成端口通知你 ), 接下来的步骤就是 1. 上面讲的 SO_UPDATE_ACCEPT_CONTEXT;

2. 将 hAcceptSocket 绑定到完成端口.

2. TransmitFile

   TransmitFile 顾名思义是用来进行文件传输的函数, 全自动无需干涉的. 在 Win NT 专业版/家庭版上无法发挥全部性能. 在这里只讨论它的一个功能: 关闭一个 SOCKET 并再次初始化它. 创建一个 SOCKET 是很耗时的, 因此这么做可以节约大量时间:

    #include <Mswsock.h>  // for WSAID_TRANSMITFILE
    typedef BOOL ( WINAPI * PFNTRANSMITFILE ) ( SOCKET, HANDLE, DWORD, DWORD, LPOVERLAPPED, LPTRANSMIT_FILE_BUFFERS, DWORD );
    PFNACCEPTEX pfnTransmitFile;
    DWORD dwBytes;
    GUID guidTransmitFile = WSAID_TRANSMITFILE;
    ::WSAIoctl( hListenSocket, SIO_GET_EXTENSION_FUNCTION_POINTER, &guidTransmitFile,
sizeof( guidTransmitFile ), &pfnTransmitFile,
sizeof( pfnTransmitFile ), &dwBytes, NULL, NULL );

    pfnTransmitFile( hAcceptSocket, NULL, 0, 0, NULL, NULL, TF_DISCONNECT | TF_REUSE_SOCKET );

    经过这个函数处理的 SOCKET 可以作为接受连接的 socket 提交给 AcceptEx 再次使用. 当这样的 socket 接受连接成功后, 如果往完成端口上绑定会出错 - 因为上次接受连接成功时已经绑定过了, 这个错误可以忽略.

3. FD_ACCEPT

    即使我们在程序启动时发起了再多的 AcceptEx , 也有可能碰到数目不够用户连不上来的情况. 在 Win2000 或更高版本的系统上, 我们可以通过 WSAEventSelect 注册一个 FD_ACCEPT 事件. 当 AcceptEx 数目不足以应付大量的连接请求时, 这个事件会被触发. 于是我们就可以发出更多的 AcceptEx, 而且我们还可以抽空辨别一下 AcceptEx 为什么这么快就用光了, 是不是碰上攻击者了( 辨别方法见上文所述 ) ?

    HANDLE hAcceptExThreadEvent = ::CreateEvent( NULL, TRUE, FALSE, _T("AcceptExThreadEvent") );
    ::WSAEventSelect( hListenSocket, hAcceptExThreadEvent, FD_ACCEPT );

    DWORD WINAPI AcceptExThread( LPVOID lpParameter )
    {
 // 负责保证有足够多的 AcceptEx 可以接受连接请求的线程

        for( UINT i = 0; i < 10; i ++ ) // 程序启动时发起的 AcceptEx
        {  
            pfnAcceptEx( hListenSocket, ... );
        }

        while( TRUE )
        {
            DWORD dwRes = ::WaitForSingleObject( hAcceptExThreadEvent, INFINITE );
     if( dwRes == WAIT_FAILED )
     {
         break;
     }
     ::ResetEvent( hAcceptExThreadEvent );
     if( m_sbWaitForExit )
     {   // 当然, 退出线程也是这个 Event 通知
         break;
     }
     pfnAcceptEx( hListenSocket, ... );

            //
            // ... 在此检查是否被攻击
            //
        }
        return 0;
    }
 
    要说明的是, WSAEventSelect() 所需的 WSAEVENT 和 CreateEvent() 所创建的 EVENT 是通用的.

4. WSASend 和 WSARecv

    默认情况下, 每一个 socket 在系统底层都拥有一个发送和接收缓冲区.

    我们发送数据时, 实际上是把数据复制到发送缓冲区中, 然后 WSASend 返回. 但是如果发送缓冲区已经满了, 那么我们在 WSASend 中指定的缓冲区就会被锁定到系统的非分页内存池中, WSASend 返回 WSA_IO_PENDING. 一旦网络空闲下来, 数据将会从我们提交的缓冲区中直接被发送出去, 与 " 我们的缓冲区->发送缓冲区->网络 " 相比节省了一次复制操作.

    WSARecv 也是一样, 接收数据时直接把接收缓冲区中的数据复制出来. 如果接收缓冲区中没有数据, 我们在 WSARecv 中指定的缓冲区就会被锁定到系统的非分页内存池以等待数据, WSARecv 返回 WSA_IO_PENDING. 如果网络上有数据来了, 这些数据将会被直接保存到我们提供的缓冲区中.
  
   如果一个服务器同时连接了许多客户端, 对每个客户端又调用了许多 WSARecv, 那么大量的内存将会被锁定到非分页内存池. 锁定这些内存时是按照页面边界来锁定的, 也就是说即使你 WSARecv 的缓存大小是 1 字节, 被锁定的内存也将会是 4k. 非分页内存池是由整个系统共用的, 如果用完的话最坏的情况就是系统崩溃. 一个解决办法是, 使用大小为 0 的缓冲区调用 WSARecv. 等到调用成功时再换用非阻塞的 recv 接收到来的数据, 直到它返回 WSAEWOULDBLOCK 表明数据已经全部读完. 在这个过程中没有任何内存需要被锁定, 但坏处是效率稍低.