sendfile原理，实现文件传输性能的提升

在apache，nginx，lighttpd等web服务器当中，都有一项sendfile相关的配置，在一些网上的资料都有谈到sendfile会提升文件传输性能，那sendfile到底是什么呢？它的原理又是如何呢？ 

在传统的文件传输里面（read/write方式），在实现上其实是比较复杂的，需要经过多次上下文的切换，我们看一下如下两行代码： 

read(file, tmp_buf, len);      
       write(socket, tmp_buf, len); 

以上两行代码是传统的read/write方式进行文件到socket的传输。 
当需要对一个文件进行传输的时候，其具体流程细节如下： 
1、调用read函数，文件数据被copy到内核缓冲区 
2、read函数返回，文件数据从内核缓冲区copy到用户缓冲区 
3、write函数调用，将文件数据从用户缓冲区copy到内核与socket相关的缓冲区。 
4、数据从socket缓冲区copy到相关协议引擎。 

以上细节是传统read/write方式进行网络文件传输的方式，我们可以看到，在这个过程当中，文件数据实际上是经过了四次copy操作： 

硬盘—>内核buf—>用户buf—>socket相关缓冲区—>协议引擎 

而sendfile系统调用则提供了一种减少以上多次copy，提升文件传输性能的方法。Sendfile系统调用是在2.1版本内核时引进的： 

sendfile(socket, file, len);  

运行流程如下： 
1、sendfile系统调用，文件数据被copy至内核缓冲区 
2、再从内核缓冲区copy至内核中socket相关的缓冲区 
3、最后再socket相关的缓冲区copy到协议引擎 

相较传统read/write方式，2.1版本内核引进的sendfile已经减少了内核缓冲区到user缓冲区，再由user缓冲区到socket相关缓冲区的文件copy，而在内核版本2.4之后，文件描述符结果被改变，sendfile实现了更简单的方式，系统调用方式仍然一样，细节与2.1版本的不同之处在于，当文件数据被复制到内核缓冲区时，不再将所有数据copy到socket相关的缓冲区，而是仅仅将记录数据位置和长度相关的数据保存到socket相关的缓存，而实际数据将由DMA模块直接发送到协议引擎，再次减少了一次copy操作。 

以上描述虽然简单，但实际情况会更加复杂，本文只希望以简单的方式大致上讲解sendfile的原理，并不奢望通过本文能够阐述出所有的细节，我也没这水平，希望此文对各位朋友有所帮助。 

参考自：http://www.linuxjournal.com/article/6345

-----------------------------------------------------------------------------------------------------------------------------------------------------------

Linux kernel 2.2之前，（如图）读写数据基本都是使用read系统调用和write系调用，以nginx来说如果一个请求建立，从磁盘的文件到网络连接之间会通过硬件（DMA）---内核层---用户层多次读写系统来完成文件数据的复制传输：从内核层用read系统调用读到用户层，再从用户层用write系统调用写到内核层，每一次用户层到内核层的进行一次上下文转换，这种代价是非常昂贵的。甚至在没有数据变化时这种复制尤其显得多余。如果nginx接受大量并发请求，这种系统调用就会非常频繁，服务器的性能就会下降。

 

在Linux kernel2.2版本之后出现了一种叫做“零拷贝(zero-copy)”系统调用机制，目前很多应用服务器如apache、samba、nginx都支持sendfile。注意：sendfile系统调用是一种文件传输的系统调用和kernel系统调用关系不大。 

如图所示，nginx在支持了sendfile系统调用后，避免了内核层与用户层的上线文切换（content swith）工作，大大减少了系统性能的开销。

可以使用man 8 sendfile 进一步了解sendfile系统调用。

以下是对参数解释

out_fd
 
a file descriptor, open for writing, for the data to be written
 
in_fd
 
a file descriptor, open for reading, for the data to be read
 
offset
 
the offset in the input file to start transfer (e.g. a value of 0 indicates the beginning of the file). This is passed into the function and updated when the function returns.
 
count
 
the number of bytes to be transferred

正常情况下函数会返回被写入的字节数，如果出错就返回-1

我们都知道在linux系统里文件描述符fd，可以是一个真实的文件或者是一个设备，例如一个网络socket，（当然linux世界里一切皆文件，这里只是具体区别一下。）senfile需要输入的文件描述符是一个支持mmap的真实文件或者设备，那么socket就不能作为输入的fd，而输出的fd是可以的。

具体在nginx的使用中可以通过在配置文件nginx.conf中增加参数使用sendfile

http {

        sendfile on;

        tcp_nopush on;

        tcp_nodelay on;        

        ...........................

}

本文出自 “老徐的私房菜” 博客