根据linux内核源码查找recv返回EBADF(errno 9)的原因

linux的内核版本是2.6.18，x86_64.

man里的解释是：

EBADF

The argument s is an invalid descriptor

我的模拟测试环境是：

前端loadrunner模拟web点击，通过后端的weblogic压自己的服务的时候发现，有时候recv会收到这个错误，意思就是这个fd已经失效了，但是有点不是很明白，所以查询下内核实现，验证下。

首先recv的实现就是调用的recvfrom:

 /*
  *  Receive a datagram from a socket.
  */

 asmlinkage long sys_recv(int fd, void __user * ubuf, size_t size, unsigned flags)
 {
     return sys_recvfrom(fd, ubuf, size, flags, NULL, NULL);
 }

然后看 sys_recvfrom 的实现：

 asmlinkage long sys_recvfrom(int fd, void __user * ubuf, size_t size, unsigned flags,
                  struct sockaddr __user *addr, int __user *addr_len)
 {
     struct socket *sock;
     struct iovec iov;
     struct msghdr msg;
     char address[MAX_SOCK_ADDR];
     int err,err2;
     struct file *sock_file;
     int fput_needed;

     sock_file = fget_light(fd, &fput_needed);
     if (!sock_file)
         return -EBADF;

     sock = sock_from_file(sock_file, &err);
     if (!sock)
         goto out;

     msg.msg_control=NULL;
     msg.msg_controllen=0;
     msg.msg_iovlen=1;
     msg.msg_iov=&iov;
     iov.iov_len=size;
     iov.iov_base=ubuf;
     msg.msg_name=address;
     msg.msg_namelen=MAX_SOCK_ADDR;
     if (sock->file->f_flags & O_NONBLOCK)
         flags |= MSG_DONTWAIT;
     err=sock_recvmsg(sock, &msg, size, flags);

     if(err >= 0 && addr != NULL)
     {
         err2=move_addr_to_user(address, msg.msg_namelen, addr, addr_len);
         if(err2<0)
             err=err2;
     }
 out:
     fput_light(sock_file, fput_needed);
     return err;
 }

从代码内可以看到是fget_light这个函数如果返回NULL，则对外报EBADF错误。

那么fget_light这个函数做了什么呢，继续看代码：

 /*
  * Lightweight file lookup - no refcnt increment if fd table isn't shared.
  * You can use this only if it is guranteed that the current task already
  * holds a refcnt to that file. That check has to be done at fget() only
  * and a flag is returned to be passed to the corresponding fput_light().
  * There must not be a cloning between an fget_light/fput_light pair.
  */
 struct file fastcall *fget_light(unsigned int fd, int *fput_needed)
 {
     struct file *file;
     struct files_struct *files = current->files;

     *fput_needed = 0;
         /* 如果你的程序是多线程的，或者多进程并且进程间是通过clone产生并且带着CLONE_FILES标识，
         那么此处&files->count值不为1 */
         if (likely((atomic_read(&files->count) == 1))) {
         file = fcheck_files(files, fd);
     } else {
         rcu_read_lock();
         file = fcheck_files(files, fd);
         if (file) {
                         /* 因为要引用和此fd相关的struct file结构，所以需要将引用计数器加1，
                           但是只有在f_count不为0的时候才去加1，如果f_count为0，说明此fd已经
                           被close掉，并且释放掉资源了。*/
                          if (atomic_inc_not_zero(&file->f_count))
                 *fput_needed = 1;
              else
                  /* Didn't get the reference, someone's freed */
                 file = NULL;
         }
         rcu_read_unlock();
     }

     return file;
 }

再看函数fcheck_files

 static inline struct file * fcheck_files(struct files_struct *files, unsigned int fd)
 {
     struct file * file = NULL;
     struct fdtable *fdt = files_fdtable(files);

     if (fd < fdt->max_fds)
         file = rcu_dereference(fdt->fd[fd]);
     return file;
 }

其实到这里就可以看出来，fget_light总共有两个地方返回NULL，

1、fcheck_files内发现fd > fdt->max_fds 会返回NULL，这种情况一般不会发生，除非你调用recv的时候传入的fd值不是真实使用的fd，而是一个很大的值。还有就是如果进行fcheck_files的时候，此fd已经被close了，则会返回NULL，也会报EBADF.

2、当我们要增加引用计数的时候，发现这个引用计数是0，也就是说被你自己进程的其他线程close了。

所以EBADF就是此fd被别人给close了，或者本身就不是个有效的socket的fd。

max_fds可以简单通过/proc/pid/status的FDSize查看值，这个max_fds其实是计算出来的，下面给出算法

 /"font-family:SimSun;">* NR_OPEN_DEFAULT就是long的bit数，x86是32，x64是64 */
 /span>"font-family:SimSun;">         nfds = NR_OPEN_DEFAULT;
 /*
  * Expand to the max in easy steps, and keep expanding it until
  * we have enough for the requested fd array size.
  */
 do {
 if NR_OPEN_DEFAULT < 256
     if (nfds < 256)
         nfds = 256;
     else
 endif
     if (nfds < (PAGE_SIZE / sizeof(struct file *)))
         nfds = PAGE_SIZE / sizeof(struct file *);
     else {
         nfds = nfds * 2;
         if (nfds > NR_OPEN)
             nfds = NR_OPEN;
         }
 } while (nfds <= nr);

初始值是NR_OPEN_DEFAULT就是long的bit数，x64是64，x86是32，

如果超过这个就变成256，如果超过256就4096/8就是512，超过512就是

512*2=1024，再超过就是1024*2=2048，一直这样成倍增加，直到最大值NR_OPEN，是1024*1024=1048576

可能会有人问，不是还有ulimit设置的open files的限制的吗？

恩，是有，这个叫做进程的资源限制，不过这个检查是在分配新的fd，比如accept这时候去检查的，如果新的fd大于那个限制是会直接报错EMFILE这个错误的。