积累的一些UNIX网络编程的知识

积累的一些UNIX网络编程的知识
2011年04月20日
　　网络编程常见问题总结 （一）
　　在网络程序中遇到的一些问题进行了总结, 这里主要针对的是我们常用的TCP socket相关的总结， 可能会存在错误， 有任何问题欢迎大家提出.
　　对于网络编程的更多详细说明建议参考下面的书籍
　　《UNIX网络编程》 《TCP/IP 详解》 《Unix环境高级编程》
　　非阻塞IO和阻塞IO：
　　在网络编程中对于一个网络句柄会遇到阻塞IO和非阻塞IO的概念, 这里对于这两种socket先做一下说明
　　基本概念：socket的阻塞模式意味着必须要做完IO操作（包括错误）才会返回。 非阻塞模式下无论操作是否完成都会立刻返回，需要通过其他方式来判断具体操作是否成功。
　　设置：
　　一般对于一个socket是阻塞模式还是非阻塞模式有两种方式 fcntl设置和recv,send系列的参数.
　　fcntl函数可以将一个socket句柄设置成非阻塞模式:
　　flags = fcntl(sockfd, F_GETFL, 0); fcntl(sockfd, F_SETFL, flags | O_NONBLOCK); 设置之后每次的对于sockfd的操作都是非阻塞的
　　recv, send函数的最后有一个flag参数可以设置成MSG_DONTWAIT临时将sockfd设置为非阻塞模式,而无论原有是阻塞还是非阻塞。 recv(sockfd, buff, buff_size, MSG_DONTWAIT); send(scokfd, buff, buff_size, MSG_DONTWAIT);
　　区别:
　　读:
　　读本质来说其实不能是读,在实际中, 具体的接收数据不是由这些调用来进行,是由于系统底层自动完成的,read也好,recv也好只负责把数据从底层缓冲copy到我们指定的位置. 对于读来说(read, 或者 recv) ，在阻塞条件下如果没有发现数据在网络缓冲中会一直等待，当发现有数据的时候会把数据读到用户指定的缓冲区，但是如果这个时候读到的数据量比较少，比参数中指定的长度要小，read并不会一直等待下去，而是立刻返回。read的原则是数据在不超过指定的长度的时候有多少读多少，没有数据就会一直等待。所以一般情况下我们读取数据都需要采用循环读的方式读取数据，一次read完毕不能保证读到我们需要长度的数据，read完一次需要判断读到的数据长度再决定是否还需要再次读取。在非阻塞的情况下，read的行为是如果发现没有数据就直接返回，如果发现有数据那么也是采用有多少读多少的进行处理．对于读而言，阻塞和非阻塞的区别在于没有数据到达的时候是否立刻返回．
　　recv中有一个MSG_WAITALL的参数 recv(sockfd, buff, buff_size, MSG_WAITALL), 在正常情况下 recv是会等待直到读取到buff_size长度的数据，但是这里的WAITALL也只是尽量读全，在有中断的情况下recv还是可能会被打断，造成没有读完指定的buff_size的长度。所以即使是采用recv + WAITALL参数还是要考虑是否需要循环读取的问题，在实验中对于多数情况下recv还是可以读完buff_size，所以相应的性能会比直接read进行循环读要好一些。不过要注意的是这个时候的sockfd必须是处于阻塞模式下，否则WAITALL不能起作用。
　　写:
　　写的本质也不是进行发送操作,而是把用户态的数据copy到系统底层去,然后再由系统进行发送操作,返回成功只表示数据已经copy到底层缓冲,而不表示数据以及发出,更不能表示对端已经接收到数据.
　　对于write(或者send)而言，在阻塞的情况是会一直等待直到write完全部的数据再返回．这点行为上与读操作有所不同，究其原因主要是读数据的时候我们并不知道对端到底有没有数据，数据是在什么时候结束发送的，如果一直等待就可能会造成死循环，所以并没有去进行这方面的处理；而对于write, 由于需要写的长度是已知的，所以可以一直再写，直到写完．不过问题是write是可能被打断造成write一次只write一部分数据, 所以write的过程还是需要考虑循环write, 只不过多数情况下一次write调用就可能成功.
　　非阻塞写的情况下，是采用可以写多少就写多少的策略．与读不一样的地方在于，有多少读多少是由网络发送的那一端是否有数据传输到为标准，但是对于可以写多少是由本地的网络堵塞情况为标准的，在网络阻塞严重的时候，网络层没有足够的内存来进行写操作，这时候就会出现写不成功的情况，阻塞情况下会尽可能(有可能被中断)等待到数据全部发送完毕， 对于非阻塞的情况就是一次写多少算多少,没有中断的情况下也还是会出现write到一部分的情况.
　　网络编程常见问题总结 （二）
　　超时控制:
　　对于网络IO，我们一般情况下都需要超时机制来避免进行操作的线程被handle住， 经典的做法就是采用select+非阻塞IO进行判断， select在超时时间内判断是否可以读写操作，然后采用非堵塞读写,不过一般实现的时候读操作不需要设置为非堵塞，上面已经说过读操作只有在没有数据的时候才会阻塞，select的判断成功说明存在数据，所以即使是阻塞读在这种情况下也是可以做到非阻塞的效果，就没有必要设置成非阻塞的情况了．
　　这部分的代码可以参考ullib中ul_sreado_ms_ex和ul_swriteo_ms_ex．
　　采用ul_sreado_ms_ex读数据也是不能保证返回大于0就一定读到指定的数据长度, 对于读写操作, 都是需要判断返回的读长度或者写长度是否是需要的长度, 不能简单的判断一下返回值是否小于0. 对于ul_sreado_ms_ex的情况如果出现了发送端数据发送一半就被close掉的情况就有可能导致接收端读不到完整的数据包.
　　errno 只有在函数返回值为负的时候才有效,如果返回0或者大于0的数, errno 的结果是无意义的. 有些时候 会出现read到0， 但是我们认为是错误的情况然后输出errno造成误解，一般建议在这种情况要同时输出返回值和errno的结果，有些情况由于只有errno造成了对于问题的判断失误。
　　长连接和短连接的各种可能的问题及相应的处理
　　这里主要是发起连接的客户端的问题,这里列出的问题主要是在采用同步模型的情况下才会存在的问题.
　　短连接:
　　采用短连接的情况一般是考虑到下面的一些问题:
　　后端服务的问题, 考虑最简单的情况下一个线程一个连接, 如果这个连接采用了长连接那么就需要我们处理连接的线程和后端保持一一对应,然后按照某些原则进行处理(n对n的关系), 但由于一方面服务器可能增加,这样导致需要前后端保持一致,带来了更多的麻烦,另一方面线程数上不去对应处理能力也会产生影响,而短连接每次连接的时候只需要关注当前的机器,问题相对会少一些. 其实这个问题可以采用连接池的方式来解决,后面会提到. 不需要考虑由于异常带来的脏数据。负载均衡方面可以简单考虑, 无论线程数是多少还是后端服务器的数量是多少都没有关系, 每次考虑单个连接就可以了. 当然如果负载逻辑简单,并且机器相对固定,一个线程一个长连接问题也不大.
　　规避一些问题, 在过去有些情况下出现长连接大延时,数据没响应等问题, 测试的时候发现换短连接问题就解决了,由于时间关系就没有再继续追查, 事实上这些问题现在基本上都已经定位并且有相关的解决方案了.
　　不足:
　　效率不足, 由于连接操作一般会有50ns~200ns的时间消耗,导致短连接需要消耗更多的时间会产生TIME_WAIT问题,需要做更多的守护
　　长连接:
　　长连接相比短连接减少了连接的时间消耗, 可以承受更高的负载. 但在使用的时候需要考虑一些问题脏数据, 在一些特殊情况(特别是逻辑错误的情况下) 会存在一些我们并不需要的数据. 这个时候的处理比较安全的方式是一旦检测到就关闭连接, 检测的方式在在发起请求前用 前面 为什么socket写错误,但用recv检查依然成功? 介绍的方式进行检查. 不过有些程序会采用继续读把所有不需要的数据读完毕(读到 EAEGIN), 不过这种方式过分依赖逻辑了,存在了一定的风险. 不如直接断开来的简单 后端连接, 前面也提到了 在这种情况我们一般会采用连接池的方式来解决问题比如(public/connectpool中就可以维护不同的连接,使每个线程都可以均匀的获取到句柄) 服务端的处理这个时候需要考虑连接的数量,简单的方式就是一个长连接一个线程, 但是线程也不能无限增加( 增加了,可能造成大量的上下文切换使的性能下降). 我们一般在长连接的情况采用pendingpool的模型, 通过一个异步队列来缓冲, 这样不需要考虑客户端和服务端的线程数问题,可以任意配置(可以通过线下测试选择合适的线程数)
　　一些特殊的问题, 主要是长连接的延时 在后面的FAQ中会有详细的说明.
　　一般来说,对于我们多数的内部业务逻辑都是可以采用长连接模式,不会产生太多的问题.
　　总结：
　　想要实现非阻塞的网络程序，需要配合select和非阻塞io（socket）一起实现。
　　非阻塞的读："select+阻塞读io"或"select+非阻塞读io"
　　非阻塞的写："select+非阻塞写io"
　　之所以非阻塞的读利用阻塞读io也可以实现，是因为即使阻塞的读io也只是读一部分就返回，也就是能读多少就读多少，马上就返回的，不费时间。
　　而阻塞的写，可就是等到全部数据都写到系统缓冲区才返回，这可能随着网络的拥塞可能消耗很久的时间！
　　（杂记）
　　1.closesocket（一般不会立即关闭而经历TIME_WAIT的过程）后想继续重用该socket：
　　BOOL bReuseaddr=TRUE;
　　setsockopt(s,SOL_SOCKET ,SO_REUSEADDR,(const char*)&bReuseaddr,sizeof(BOOL));
　　2. 如果要已经处于连接状态的soket在调用closesocket后强制关闭，不经历
　　TIME_WAIT的过程：
　　BOOL bDontLinger = FALSE;
　　setsockopt(s,SOL_SOCKET,SO_DONTLINGER,(const char*)&bDontLinger,sizeof(BOOL));
　　3.在send(),recv()过程中有时由于网络状况等原因，发收不能预期进行,而设置收发时限：
　　int nNetTimeout=1000;//1秒
　　//发送时限
　　setsockopt(socket，SOL_S0CKET,SO_SNDTIMEO，(char *)&nNetTimeout,sizeof(int));
　　//接收时限
　　setsockopt(socket，SOL_S0CKET,SO_RCVTIMEO，(char *)&nNetTimeout,sizeof(int));
　　4.在send()的时候，返回的是实际发送出去的字节(同步)或发送到socket缓冲区的字节
　　(异步);系统默认的状态发送和接收一次为8688字节(约为8.5K)；在实际的过程中发送数据
　　和接收数据量比较大，可以设置socket缓冲区，而避免了send(),recv()不断的循环收发：
　　// 接收缓冲区
　　int nRecvBuf=32*1024;//设置为32K
　　setsockopt(s,SOL_SOCKET,SO_RCVBUF,(const char*)&nRecvBuf,sizeof(int));
　　//发送缓冲区
　　int nSendBuf=32*1024;//设置为32K
　　setsockopt(s,SOL_SOCKET,SO_SNDBUF,(const char*)&nSendBuf,sizeof(int));
　　5. 如果在发送数据的时，希望不经历由系统缓冲区到socket缓冲区的拷贝而影响
　　程序的性能：
　　int nZero=0;
　　setsockopt(socket，SOL_S0CKET,SO_SNDBUF，(char *)&nZero,sizeof(nZero));
　　6.同上在recv()完成上述功能(默认情况是将socket缓冲区的内容拷贝到系统缓冲区)：
　　int nZero=0;
　　setsockopt(socket，SOL_S0CKET,SO_RCVBUF，(char *)&nZero,sizeof(int));
　　7.一般在发送UDP数据报的时候，希望该socket发送的数据具有广播特性：
　　BOOL bBroadcast=TRUE;
　　setsockopt(s,SOL_SOCKET,SO_BROADCAST,(const char*)&bBroadcast,sizeof(BOOL));
　　8.在client连接服务器过程中，如果处于非阻塞模式下的socket在connect()的过程中可
　　以设置connect()延时,直到accpet()被呼叫(本函数设置只有在非阻塞的过程中有显著的
　　作用，在阻塞的函数调用中作用不大)
　　BOOL bConditionalAccept=TRUE;
　　setsockopt(s,SOL_SOCKET,SO_CONDITIONAL_ACCEPT,(const char*)&bConditionalAccept,sizeof(BOOL));
　　9.如果在发送数据的过程中(send()没有完成，还有数据没发送)而调用了closesocket(),以前我们
　　一般采取的措施是"从容关闭"shutdown(s,SD_BOTH),但是数据是肯定丢失了，如何设置让程序满足具体
　　应用的要求(即让没发完的数据发送出去后在关闭socket)？
　　struct linger {
　　u_short l_onoff;
　　u_short l_linger;
　　};
　　linger m_sLinger;
　　m_sLinger.l_onoff=1;//(在closesocket()调用,但是还有数据没发送完毕的时候容许逗留)
　　// 如果m_sLinger.l_onoff=0;则功能和2.)作用相同;
　　m_sLinger.l_linger=5;//(容许逗留的时间为5秒)
　　setsockopt(s,SOL_SOCKET,SO_LINGER,(const char*)&m_sLinger,sizeof(linger));
　　// /// /// /
　　设置套接口的选项。
　　#include
　　int PASCAL FAR setsockopt( SOCKET s, int level, int optname,
　　const char FAR* optval, int optlen);
　　s：标识一个套接口的描述字。
　　level：选项定义的层次；目前仅支持SOL_SOCKET和IPPROTO_TCP层次。
　　optname：需设置的选项。
　　optval：指针，指向存放选项值的缓冲区。
　　optlen：optval缓冲区的长度。
　　注释：
　　setsockopt()函数用于任意类型、任意状态套接口的设置选项值。尽管在不同协议层上存在选项，但本函数仅定义了最高的"套接口"层次上的选项。选项影响套接口的操作，诸如加急数据是否在普通数据流中接收，广播数据是否可以从套接口发送等等。
　　有两种套接口的选项：一种是布尔型选项，允许或禁止一种特性；另一种是整形或结构选项。允许一个布尔型选项，则将optval指向非零整形数；禁止一个选项optval指向一个等于零的整形数。对于布尔型选项，optlen应等于sizeof(int)；对其他选项，optval指向包含所需选项的整形数或结构，而optlen则为整形数或结构的长度。SO_LINGER选项用于控制下述情况的行动：套接口上有排队的待发送数据，且closesocket()调用已执行。参见closesocket()函数中关于SO_LINGER选项对closesocket()语义的影响。应用程序通过创建一个linger结构来设置相应的操作特性：
　　struct linger {
　　int l_onoff;
　　int l_linger;
　　};
　　为了允许SO_LINGER，应用程序应将l_onoff设为非零，将l_linger设为零或需要的超时值（以秒为单位），然后调用setsockopt()。为了允许SO_DONTLINGER（亦即禁止SO_LINGER），l_onoff应设为零，然后调用setsockopt()。
　　缺省条件下，一个套接口不能与一个已在使用中的本地地址捆绑（参见bind()）。但有时会需要"重用"地址。因为每一个连接都由本地地址和远端地址的组合唯一确定，所以只要远端地址不同，两个套接口与一个地址捆绑并无大碍。为了通知WINDOWS套接口实现不要因为一个地址已被一个套接口使用就不让它与另一个套接口捆绑，应用程序可在bind()调用前先设置SO_REUSEADDR选项。请注意仅在bind()调用时该选项才被解释；故此无需（但也无害）将一个不会共用地址的套接口设置该选项，或者在bind()对这个或其他套接口无影响情况下设置或清除这一选项。
　　一个应用程序可以通过打开SO_KEEPALIVE选项，使得WINDOWS套接口实现在TCP连接情况下允许使用"保持活动"包。一个WINDOWS套接口实现并不是必需支持"保持活动"，但是如果支持的话，具体的语义将与实现有关，应遵守RFC1122"Internet主机要求－通讯层"中第4.2.3.6节的规范。如果有关连接由于"保持活动"而失效，则进行中的任何对该套接口的调用都将以WSAENETRESET错误返回，后续的任何调用将以WSAENOTCONN错误返回。
　　TCP_NODELAY选项禁止Nagle算法。Nagle算法通过将未确认的数据存入缓冲区直到蓄足一个包一起发送的方法，来减少主机发送的零碎小数据包的数目。但对于某些应用来说，这种算法将降低系统性能。所以TCP_NODELAY可用来将此算法关闭。应用程序编写者只有在确切了解它的效果并确实需要的情况下，才设置TCP_NODELAY选项，因为设置后对网络性能有明显的负面影响。TCP_NODELAY是唯一使用IPPROTO_TCP层的选项，其他所有选项都使用SOL_SOCKET层。
　　如果设置了SO_DEBUG选项，WINDOWS套接口供应商被鼓励（但不是必需）提供输出相应的调试信息。但产生调试信息的机制以及调试信息的形式已超出本规范的讨论范围。
　　setsockopt()支持下列选项。其中"类型"表明optval所指数据的类型。
　　选项 类型 意义
　　SO_BROADCAST BOOL 允许套接口传送广播信息。
　　SO_DEBUG BOOL 记录调试信息。
　　SO_DONTLINER BOOL 不要因为数据未发送就阻塞关闭操作。设置本选项相当于将SO_LINGER的l_onoff元素置为零。
　　SO_DONTROUTE BOOL 禁止选径；直接传送。
　　SO_KEEPALIVE BOOL 发送"保持活动"包。
　　SO_LINGER struct linger FAR* 如关闭时有未发送数据，则逗留。
　　SO_OOBINLINE BOOL 在常规数据流中接收带外数据。
　　SO_RCVBUF int 为接收确定缓冲区大小。
　　SO_REUSEADDR BOOL 允许套接口和一个已在使用中的地址捆绑（参见bind()）。
　　SO_SNDBUF int 指定发送缓冲区大小。
　　TCP_NODELAY BOOL 禁止发送合并的Nagle算法。
　　setsockopt()不支持的BSD选项有：
　　选项名 类型 意义
　　SO_ACCEPTCONN BOOL 套接口在监听。
　　SO_ERROR int 获取错误状态并清除。
　　SO_RCVLOWAT int 接收低级水印。
　　SO_RCVTIMEO int 接收超时。
　　SO_SNDLOWAT int 发送低级水印。
　　SO_SNDTIMEO int 发送超时。
　　SO_TYPE int 套接口类型。
　　IP_OPTIONS 在IP头中设置选项。
　　返回值：
　　若无错误发生，setsockopt()返回0。否则的话，返回SOCKET_ERROR错误，应用程序可通过WSAGetLastError()获取相应错误代码。
　　错误代码：
　　WSANOTINITIALISED：在使用此API之前应首先成功地调用WSAStartup()。
　　WSAENETDOWN：WINDOWS套接口实现检测到网络子系统失效。
　　WSAEFAULT：optval不是进程地址空间中的一个有效部分。
　　WSAEINPROGRESS：一个阻塞的WINDOWS套接口调用正在运行中。
　　WSAEINVAL：level值非法，或optval中的信息非法。
　　WSAENETRESET：当SO_KEEPALIVE设置后连接超时。
　　WSAENOPROTOOPT：未知或不支持选项。其中，SOCK_STREAM类型的套接口不支持SO_BROADCAST选项，SOCK_DGRAM类型的套接口不支持SO_DONTLINGER 、SO_KEEPALIVE、SO_LINGER和SO_OOBINLINE选项。
　　WSAENOTCONN：当设置SO_KEEPALIVE后连接被复位。
　　WSAENOTSOCK：描述字不是一个套接口。
　　参见：
　　bind(), getsockopt(), ioctlsocket(), socket(), WSAAsyncSelect().