Nginx+PHP Xsendfile文件传输

1.简介

传统的文件传输模式中(read/write和send/recv),需要在文件file,系统buffer和用户buffer中反复I/O,造成内存的浪费与资源占用,大致流程如下.

• 1.调用read(file, tmp_buf, len);,切换user mode至kernel mode,将文件从磁盘读取到kernel buffer中挂起;
  关于read():
  ssize_t read (int fd, void *buf, size_t count);

成功返回读取的字节数，出错返回-1并设置errno，如果在调read之前已到达文件末尾，则这次read返回0。
read()会把参数fd所指的文件传送nbyte个字节到buf指针所指的内存中。若参数nbyte为0，则read()不会有作用并返回0。返回值为实际读取到的字节数，如果返回0，表示已到达文件尾或无可读取的数据。错误返回-1,并将根据不同的错误原因适当的设置错误码。

• 2.read()返回,切换kernel mode至user mode,把kernel buffer中缓存的数据复制到user buffer中;

• 3.调用write(socket, tmp_buf, len);,切换user mode至kernel mode,把复制到user buffer中的数据再次复制到另一个与socket关联的kernel buffer;
  关于write():

ssize_t write(int fd, const void *buf, size_t nbyte);
write函数把buf中nbyte写入文件描述符handle所指的文档，成功时返回写的字节数，错误时返回-1.

• 4.write()返回,切换kernel mode至user mode,将上一步缓存到kernel buffer中的数据复制到服务器协议栈中;

关于Linux User Mode和Kernel Mode

简单图示:

图片来源:http://laoxu.blog.51cto.com/4120547/1417294

这样的传输方式固然简单可靠,但是由于一共进行了四次跨space的I/O和四次mode切换,所以在传输size过大或数量过多的文件时效率堪忧.

---

在Linux 2.0+以后提供了一个sendfile()的文件传送方式,
ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count);
文档

sendfile()是作用于数据拷贝在两个文件描述符之间的操作函数.这个拷贝操作是内核中操作的,所以称为"零拷贝".sendfile函数比起read和write函数高效得多,因为read和write是要把数据拷贝到用户应用层操作.

其大致流程如下:

• 1.调用sendfile()把磁盘中的数据复制到kernel buffer;
• 2.把复制到kernel buffer中的数据复制到另一个socket关联的kernel buffer中;
• 3.将上一步缓存到socket kernel buffer中的数据复制到服务器协议栈中;

以上流程中并没有出现mode的切换,并且省略了涉及user buffer的两次I/O,所以性能会比传统方式优异许多.

简单图示:

图片来源:http://laoxu.blog.51cto.com/4120547/1417294

---

2.实现

强烈建议先阅读官方文档:
XSendfile-Nginx官方文档

• 1.首先需要确保Nginx支持sendfile:

$ sudo vi /etc/nginx/nginx.conf
>>
sendfile on;

• 2.既然涉及PHP的文件传输,header不能少:

header('Content-type: application/octet-stream');
// 这里的$s_fileName指的是被下载的文件名
header('Content-Disposition: attachment; filename="' . $s_fileName . '"');
// nginx sendfile
// 这里的$p_file指的是在nginx中约定的访问路径
header('X-Accel-Redirect: '.$p_file);

• 3.上一步的$p_file并不是指文件的实际路径,而是nginx中约定的路由,所以需要配置nginx:

// 假设 $p_file = "/demo/download/" . $s_fileName;
// 假设该文件的实际路径为 /var/www/demo/_api.git/var/tmp/
location /demo/download {
    internal;
    alias   /var/www/demo/_api.git/var/tmp/;
}

• 4.重启一下相关服务以加载最新配置:

$ sudo service nginx reload

需要注意的是:

• 1.声明Xsendfile的header必须包含约定的URI;
• 2.在配置文件中约定的解析路径必须被声明为内部调用(internal),这么做是为了防止外部URI的直接访问;
• 3.根据实际需求选择解析目录使用root(实际目录)还是alias(虚拟目录)关键字;
• 4.另外Nginx提供了几个header控制sendfile的配置:

X-Accel-Limit-Rate: 1024
X-Accel-Buffering: yes|no
X-Accel-Charset: utf-8

3.其它:

Apache2 Xsendfile mod
DEMO