多进程服务端实现-共享socket

众所周知，使用多进程的服务端模型有利于程序的健壮性。传统的做法是主进程负责收发数据，然后传给子进程来处理。这种做法的缺陷是需要大量的父子进程IPC，对效率来说是一种损失。

这里，我提出另外一种比较独特的做法，就是多个进程share socket，每次进程都可以accept，然后来自己处理。

几个关键点:
1) CreateProcess使用InheritHandle标记来share socket handle
2) 通过command line直接向子进程来传递父socket的值
3）使用Global Mutext来实现子进程互斥的accept

可以改进的地方
1) 使用动态进程池来程序具有更大的伸缩性
2）监控子进程的状态，处理僵死进程

 

多进程共享一个socket，急啊！
在网络游戏编程中，假如客户端提供房间让玩家登录游戏，比如说四国军旗，进入游戏后会产生一个新的进程，我想问：客户端进程和四国军旗游戏进程通过wsaduplicatesocket共享一个socket和服务器端进行通信，某个时间只能是一个进程利用这个socket和服务端通信，怎么来协调这个socket，使客户端进程和四国军旗游戏进程很好的交替和服务器很好的通信？想了很久，查了一些资料，但不知道怎么来做？急啊！如果可以提供一部分代码，那非常感激！这是我所有的分了，各位帮帮忙！

------解决方案--------------------------------------------------------
共享原来socket是unix上边的概念，unix下边的早期网络服务器一般都是由父进程
bind
listen
accept

然后子进程read,write,这两个进程共享socket,但是只有一个进程读写。包括unix下边现在的inetd进程也是这样的。

另外有很多大型服务器也是这样的架构，有点有很多了

 

不可以简单的将socket的值利用。应该通过DuplicateHandle进行。

进程1:
  WSAStartup();
  s1 = socket();
  connect();

进程2：
  WSAStartup();
  hh = OpenProcess(p1Id);
  DuplicateHandle(hh, s1, -1, &s2, PROCESS_ALL_ACCESS, FALSE, DUPLICATE_SAME_ACCESS);
  connect(s2);
  ...
注意：
  进程2中的s1和p1Id为进程1中的s1值和进程1的进程ID.

修改，进程2中可以直接利用进程1的socket进行send或recv。不用重新connect。
进程2：
  WSAStartup();
  hh = OpenProcess(p1Id);
  DuplicateHandle(hh, s1, -1, &s2, PROCESS_ALL_ACCESS, FALSE, DUPLICATE_SAME_ACCESS);
  send(s2);

 

下面是一个echo server 的例子来展示这项技术, FYI

父进程(SSParent.cpp)

#include  < stdio.h >
#include  < winsock2.h >
#include  < windows.h >
#include  < process.h >

#define  MUTEX_NAME "sschild"

int  main( int  argc,  char *  argv[])
{
    {  // init
        WORD wVersionRequested;
        WSADATA wsaData;
        wVersionRequested  =  MAKEWORD(  2 ,  2  );
        WSAStartup( wVersionRequested,  & wsaData );
    }

    SOCKET s  =  socket(AF_INET,SOCK_STREAM, 0 );
     if (s == INVALID_SOCKET)
    {
        printf( " create socket failed!\n " );
         return   - 1 ;
    }

    {  // bind&listen
        sockaddr_in sa;
        sa.sin_family  =  AF_INET;
        sa.sin_port  =  htons(  1500  );
        sa.sin_addr.s_addr  =   0  ; 
         int  rc  =  bind(s,(sockaddr  * ) & sa, sizeof (sa));
         if (rc  ==  SOCKET_ERROR)
        {
            printf( " bind failed:%d\n " ,::WSAGetLastError());
             return   - 1 ;
        }
        listen(s,SOMAXCONN);
    }

    HANDLE hSocketMutex;
    {  // create mutex
        hSocketMutex  =  ::CreateMutex(NULL,FALSE,MUTEX_NAME);
         if (hSocketMutex == NULL)
        {
            printf( " fail CreateMutex:%d\n " ,::GetLastError());
             return   - 1 ;
        }
    }

     const   int  CHILD_NUMBER  =   5 ;
    HANDLE hProcess[CHILD_NUMBER];
    {  // create child process
       STARTUPINFO si  =  {  sizeof (si) };
       PROCESS_INFORMATION piProcess[CHILD_NUMBER];
        char  pCmdLine[ 256 ];
       sprintf(pCmdLine, " SSChild %d " ,s);
        for ( int  i = 0 ;i < CHILD_NUMBER; ++ i)
       {
            if ( ! CreateProcess(NULL,pCmdLine,NULL,NULL,TRUE, 0 , NULL, NULL,  & si,  & piProcess[i]))
           {
               printf( " fail CreateProcess:%d\n " ,::GetLastError());
                return   - 1 ;
           }
           hProcess[i]  =  piProcess[i].hProcess;
           CloseHandle(piProcess[i].hThread);
       }
    }

    ::WaitForMultipleObjects(CHILD_NUMBER,hProcess,TRUE,INFINITE);

    { // close all child handle
        for ( int  i = 0 ;i < CHILD_NUMBER; ++ i)
       {
           CloseHandle(hProcess[i]);
       }
    }

     // clean
    CloseHandle(hSocketMutex);
    closesocket(s);
    WSACleanup( );
     return   0 ;
}

 

子进程(SSChild.cpp)

#include  < stdio.h >
#include  < winsock2.h >
#include  < windows.h >
#include  < process.h >

#define  MUTEX_NAME "sschild"

int  main( int  argc,  char *  argv[])
{
    printf( " sschild startup!\n " );

    {  // init
        WORD wVersionRequested;
        WSADATA wsaData;
        wVersionRequested  =  MAKEWORD(  2 ,  2  );
        WSAStartup( wVersionRequested,  & wsaData );
    }

    DWORD pid  =  ::GetCurrentProcessId();

    HANDLE hSocketMutex;
    {  // open mutex
        hSocketMutex  =  ::OpenMutex(MUTEX_ALL_ACCESS,FALSE,MUTEX_NAME);
         if (hSocketMutex == NULL)
        {
            printf( " fail OpenMutex:%d\n " ,::GetLastError());
             return   - 1 ;
        }
    }

    SOCKET s;
    {   // get socket handle from cmdline
         if (argc <= 1 )
        {
            printf( " usage: sschild socket_handle\n " );
             return   - 1 ;
        }
        s  =  (SOCKET) atoi(argv[ 1 ]);
    }

     while ( 1 )
    {
        WaitForSingleObject(hSocketMutex,INFINITE);
        sockaddr_in sa;
         int  add_len  =   sizeof (sa);
        SOCKET c  =  accept(s,(sockaddr * ) & sa, & add_len);
        ReleaseMutex(hSocketMutex);
         if (c != INVALID_SOCKET)
        {
            printf( " [%d],client:%s port:%d connected!\n " ,pid,inet_ntoa(sa.sin_addr),sa.sin_port);
             while ( 1 )
            {
                 char  buffer[ 256 ] = { 0 };
                 int  rc =  recv(c,buffer, 255 , 0 );
                 if (rc > 0 )
                {
                    printf( " [%d]recv msg:%s\n " ,pid,buffer);
                    send(c,buffer,strlen(buffer) + 1 , 0 );
                }
                 else   if (rc  ==  SOCKET_ERROR)
                {
                    printf( " [%d]recv msg failed:%d\n " ,pid,::WSAGetLastError());
                    closesocket(c);
                     break ;
                }
                 else
                {
                    printf( " [%d]connection close\n " ,pid);
                    closesocket(c);
                     break ;
                }
            }
        }
         else
        {
            printf( " [%d]fail accept:%d\n " ,pid,::WSAGetLastError());
        }
    }

    CloseHandle(hSocketMutex);
     return   0 ;
}

 

多进程方式编程简单，程序健壮性相对比较好，但是切换开销比较大。