Linux服务篇--高性能web服务nginx
本章概要
- I/O模型
- Nginx介绍
- Nginx安装
- Nginx各种模块实现web服务
- Nginx实现fastcgi反代代理
- Nginx实现http负载均衡
- Nginx实现tcp反向代理
1、I/O模型
httpd MPM
- httpd MPM：
prefork：进程模型，两级结构，主进程master负责生成子进程，每个子进程负责响应一个请求
worker：线程模型，三级结构，主进程master负责生成子进程，每个子进程负责生成多个线程，每个线程响应一个请求
event：线程模型，三级结构,主进程master负责生成子进程，每个子进程响应多个请求
I/O介绍
- I/O:
网络IO：本质是socket读取
磁盘IO： - 每次IO，都要经由两个阶段：
第一步：将数据从磁盘文件先加载至内核内存空间（缓冲区），等待数据准备完成，时间较长
第二步：将数据从内核缓冲区复制到用户空间的进程的内存中，时间较短
知识扩展：
PIO 应用程序的输入输出
访问数据，所有数据都需要经过cpu转发，加重cpu的负载
DMA 内存的直接访问
访问数据，cpu只负责发送指令，具体操作由DMAC(内存访问控制器)负责，
当该工作完成后只需向cpu返回一个值告知cpu即可，这样一来就减轻了cpu的压力，提高cpu的利用率
I/O模型
- 同步/异步：关注的是消息通信机制
同步：synchronous，调用者等待被调用者返回消息，才能继续执行
异步：asynchronous，被调用者通过状态、通知或回调机制主动通知调用者被调用者的运行状态 - 阻塞/非阻塞：关注调用者在等待结果返回之前所处的状态
阻塞：blocking，指IO操作需要彻底完成后才返回到用户空间，调用结果返回之前，调用者被挂起
非阻塞：nonblocking，指IO操作被调用后立即返回给用户一个状态值，无需等到IO操作彻底完成，最终的调用结果返回之前，调用者不会被挂起 - I/O模型：
阻塞型、非阻塞型、复用型、信号驱动型、异步
同步阻塞IO模型
- 同步阻塞IO模型是最简单的IO模型，用户线程在内核进行IO操作时被阻塞
- 用户线程通过系统调用read发起IO读操作，由用户空间转到内核空间。内核等到数据包到达后，然后将接收的数据拷贝到用户空间，完成read操作
- 用户需要等待read将数据读取到buffer后，才继续处理接收的数据。整个IO请求的过程中，用户线程是被阻塞的，这导致用户在发起IO请求时，不能做任何事情，对CPU的资源利用率不够
同步非阻塞IO模型
- 用户线程发起IO请求时立即返回。但并未读取到任何数据，用户线程需要不断地发起IO请求，直到数据到达后，才真正读取到数据，继续执行。即 “轮询”机制
- 整个IO请求的过程中，虽然用户线程每次发起IO请求后可以立即返回，但是为了等到数据，仍需要不断地轮询、重复请求，消耗了大量的CPU的资源
- 是比较浪费CPU的方式，一般很少直接使用这种模型，而是在其他IO模型中使用非阻塞IO这一特性
IO多路复用模型
- IO多路复用是指内核一旦发现进程指定的一个或者多个IO条件准备读取，就通知该进程
- 多个连接共用一个等待机制，本模型会阻塞进程，但是进程是阻塞在select或者poll这两个系统调用上，而不是阻塞在真正的IO操作上
- 用户首先将需要进行IO操作添加到select中，继续执行做其他的工作（异步），同时等待select系统调用返回。当数据到达时，IO被激活，select函数返回。用户线程正式发起read请求，读取数据并继续执行
- 从流程上来看，使用select函数进行IO请求和同步阻塞模型没有太大的区别，甚至还多了添加监视IO，以及调用select函数的额外操作，效率更差。并且阻塞了两次，但是第一次阻塞在select上时，select可以监控多个IO上是否已有IO操作准备就绪，即可达到在同一个线程内同时处理多个IO请求的目的。而不像阻塞IO那种，一次只能监控一个IO
- 虽然上述方式允许单线程内处理多个IO请求，但是每个IO请求的过程还是阻塞的（在select函数上阻塞），平均时间甚至比同步阻塞IO模型还要长。如果用户线程只是注册自己需要的IO请求，然后去做自己的事情，等到数据到来时再进行处理，则可以提高CPU的利用率
- IO多路复用是最常使用的IO模型，但是其异步程度还不够“彻底”，因它使用了会阻塞线程的select系统调用。因此IO多路复用只能称为异步阻塞IO模型，而非真正的异步IO
信号驱动IO模型
- 信号驱动IO：signal-driven I/O
- 用户进程可以通过sigaction系统调用注册一个信号处理程序，然后主程序可以继续向下执行，当有IO操作准备就绪时，由内核通知触发一个SIGIO信号处理程序执行，然后将用户进程所需要的数据从内核空间拷贝到用户空间
- 此模型的优势在于等待数据报到达期间进程不被阻塞。用户主程序可以继续执行，只要等待来自信号处理函数的通知
- 该模型并不常用
异步IO模型
- 异步IO与信号驱动IO最主要的区别是信号驱动IO是由内核通知何时可以进行IO操作，而异步IO则是由内核告诉用户线程IO操作何时完成。信号驱动IO当内核通知触发信号处理程序时，信号处理程序还需要阻塞在从内核空间缓冲区拷贝数据到用户空间缓冲区这个阶段，而异步IO直接是在第二个阶段完成后，内核直接通知用户线程可以进行后续操作了
- 相比于IO多路复用模型，异步IO并不十分常用，不少高性能并发服务程序使用IO多路复用模型+多线程任务处理的架构基本可以满足需求。目前操作系统对异步IO的支持并非特别完善，更多的是采用IO多路复用模型模拟异步IO的方式（IO事件触发时不直接通知用户线程，而是将数据读写完毕后放到用户指定的缓冲区中）
五种I/O模型
IO模型的具体实现
- 主要实现方式有以下几种：
Select：Linux实现，对应I/O复用模型，BSD4.2最早实现，POSIX标准，一般操作系统均有实现
Poll：Linux实现，对应I/O复用模型，System V unix最早实现
Epoll：Linux特有，对应I/O复用模型，具有信号驱动I/O模型的某些特性
Kqueue：FreeBSD实现，对应I/O复用模型，具有信号驱动I/O模型某些特性
/dev/poll：SUN的Solaris实现，对应I/O复用模型，具有信号驱动I/O模型的某些特性
Iocp Windows实现，对应第5种（异步I/O）模型
select/poll/epoll
- poll
本质上和select没有区别，它将用户传入的数组拷贝到内核空间，然后查询每个fd对应的设备状态
其没有最大连接数的限制，原因是它是基于链表来存储的
大量的fd的数组被整体复制于用户态和内核地址空间之间，而不管这样的复制是不是有意义
poll特点是“水平触发”，如果报告了fd后，没有被处理，那么下次poll时会再次报告该fd
边缘触发：只通知一次 - epoll：在Linux 2.6内核中提出的select和poll的增强版本
支持水平触发LT和边缘触发ET，最大的特点在于边缘触发，它只告诉进程哪些fd刚刚变为就需态，并且只会通知一次
使用“事件”的就绪通知方式，通过epoll_ctl注册fd，一旦该fd就绪，内核就会采用类似callback的回调机制来激活该fd，epoll_wait便可以收到通知
epoll优点:
没有最大并发连接的限制：能打开的FD的上限远大于1024(1G的内存能监听约10万个端口)，具体查看/proc/sys/fs/file-max，此值和系统内存大小相关
效率提升：非轮询的方式，不会随着FD数目的增加而效率下降；只有活跃可用的FD才会调用callback函数，即epoll最大的优点就在于它只管理“活跃”的连接，而跟连接总数无关
内存拷贝，利用mmap(Memory Mapping)加速与内核空间的消息传递；即epoll使用mmap减少复制开销
知识扩展：
水平触发：当数据加载完成后，通知用户空间的进程，如果报通知过后，没有被处理，那么下次poll时会再次报告该fd
边缘触发：当数据加载完成后，通知用户空间的进程，只通知一次，如果没有被处理，将不会再通知
2、Nginx介绍
-
Nginx：engine X ，2002年，开源，商业版
-
NGINX是免费，开源，高性能的HTTP和反向代理服务器，邮件代理服务器，通用TCP/UDP代理服务器
-
解决C10K问题（10K Connections）
-
官网：http://nginx.org
-
二次开发版：
Tengine
OpenResty（章亦春） -
正向代理和反向代理
-
特性：
模块化设计，较好的扩展性
高可靠性
支持热部署：不停机更新配置文件，升级版本，更换日志文件
低内存消耗：10000个keep-alive连接模式下的非活动连接，仅需2.5M内存
event-driven,aio,mmap，sendfile -
基本功能：
静态资源的web服务器
http协议反向代理服务器
pop3/imap4协议反向代理服务器
FastCGI(LNMP),uWSGI(python)等协议
模块化（非DSO），如zip，SSL模块
nginx的程序架构
-
web服务相关的功能：
虚拟主机（server）
支持 keep-alive 和管道连接
访问日志（支持基于日志缓冲提高其性能）
url rewirte
路径别名
基于IP及用户的访问控制
支持速率限制及并发数限制
重新配置和在线升级而无须中断客户的工作进程
Memcached 的 GET 接口 -
nginx架构
-
nginx的程序架构：
master/worker结构
一个master进程：
负载加载和分析配置文件、管理worker进程、平滑升级
一个或多个worker进程
处理并响应用户请求
缓存相关的进程：
cache loader：载入缓存对象
cache manager：管理缓存对象
nginx模块
- nginx高度模块化，但其模块早期不支持DSO机制；1.9.11版本支持动态装载和卸载
- 模块分类：
核心模块：core module
标准模块：
HTTP 模块： ngx_http_*
HTTP Core modules 默认功能
HTTP Optional modules 需编译时指定
Mail 模块 ngx_mail_*
Stream 模块 ngx_stream_*
第三方模块
- 核心模块：是Nginx服务器正常运行必不可少的模块，提供错误日志记录、配置文件解析、事件驱动机制、进程管理等核心功能
- 标准HTTP模块：提供HTTP协议解析相关的功能，比如：端口配置、网页编码设置 、HTTP响应头设置等等
- 可选HTTP模块：主要用于扩展标准的HTTP功能，让Nginx能处理一些特殊的服务，比如：Flash 多媒体传输解析GeoIP请求、网络传输压缩、安全协议SSL支持等
- 邮件服务模块：主要用于支持Nginx的邮件服务，包括对POP3协议、IMAP协议和SMTP协议的支持
- 第三方模块：是为了扩展Nginx服务器应用，完成开发者自定义功能，比如：Json支持、Lua支持等
nginx的功用
- 静态的web资源服务器
html，图片，js，css，txt等静态资源 - 结合FastCGI/uWSGI/SCGI等协议反向代理动态资源请求
- http/https协议的反向代理
- imap4/pop3协议的反向代理
- tcp/udp协议的请求转发（反向代理）
3、Nginx安装
- 官方：
http://nginx.org/packages/centos/7/x86_64/RPMS - Fedora-EPEL:
https://mirrors.aliyun.com/epel/7/x86_64/
官方提供稳定版本nginx的epel源
[nginx]
name=nginx repo
baseurl=http://nginx.org/packages/OS/OSRELEASE/$basearch/
gpgcheck=0
enabled=1
注意：仓库路径中的"OS"字段要根据使用的系统更改为rhel或centos，OSRELEASE更改为6或7
- 编译安装：
yum install pcre-devel openssl-devel zlib-devel
useradd -r –s /sbin/nologin nginx
./configure \
--prefix=/usr/local/nginx \
--conf-path=/etc/nginx/nginx.conf \
--error-log-path=/var/log/nginx/error.log \
--http-log-path=/var/log/nginx/access.log \
--pid-path=/var/run/nginx.pid \
--lock-path=/var/run/nginx.lock \
--user=nginx \
--group=nginx \
--with-http_ssl_module \
--with-http_v2_module \
--with-http_dav_module \
--with-http_stub_status_module \
--with-threads \
--with-file-aio
make && make install
- 编译安装nginx选项详解：
--prefix=/etc/nginx 安装路径
--sbin-path=/usr/sbin/nginx 指明nginx程序文件安装路径
--conf-path=/etc/nginx/nginx.conf 主配置文件安装位置
--error-log-path=/var/log/nginx/error.log 错误日志文件安装位置
--http-log-path=/var/log/nginx/access.log 访问日志文件安装位置
--pid-path=/var/run/nginx.pid 指明pid文件安装位置
--lock-path=/var/run/nginx.lock 锁文件安装位置
--http-client-body-temp-path=/var/cache/nginx/client_temp
body部分的临时文件存放路径，服务器允许客户端使用put方法提交大数据时，临时存放的磁盘路径
--http-proxy-temp-path=/var/cache/nginx/proxy_temp 作为代理服务器，服务器响应报文的临时文件存放路径
--http-fastcgi-temp-path=/var/cache/nginx/fastcgi_temp 作为fastcgi代理服务器，服务器响应报文的临时文件存放路径
--http-uwsgi-temp-path=/var/cache/nginx/uwsgi_temp 作为uwsgi代理服务器，服务器响应报文的临时文件存放路径
--http-scgi-temp-path=/var/cache/nginx/scgi_temp 作为scgi反代服务器，服务器响应报文的临时文件存放路径
--user=nginx 指明以那个身份运行worker进程，主控master进程一般由root运行
--group=nginx
--with-http_ssl_module 表示把指定模块编译进来
nginx目录结构和命令
- nginx目录结构
ls /usr/local/nginx/
html是测试页，sbin是主程序
ls /usr/local/nginx/sbin/
nginx 只有一个程序文件
ls /usr/local/nginx/html/
50x.html index.html 测试网页 - Nginx：默认为启动nginx
-h 查看帮助选项
-V 查看版本和配置选项
-t 测试nginx语法错误
-c filename 指定配置文件(default: /etc/nginx/nginx.conf)
-s signal 发送信号给master进程，signal：stop, quit, reopen, reload
示例： nginx -s stop 停止nginx
nginx -s reload 加载配置文件
-g directives 在命令行中指明全局指令
nginx配置
-
配置文件的组成部分：
主配置文件：nginx.conf
子配置文件 include conf.d/*.conf
fastcgi， uwsgi，scgi等协议相关的配置文件
mime.types：支持的mime类型 -
主配置文件的配置指令：
directive value [value2 …];
注意：
(1) 指令必须以分号结尾
(2) 支持使用配置变量
内建变量：由Nginx模块引入，可直接引用
自定义变量：由用户使用set命令定义
set variable_name value;
引用变量：$variable_name -
nginx配置文件
主配置文件结构：四部分
main block：主配置段，即全局配置段，对http,mail都有效
event {
...
} 事件驱动相关的配置
http {
...
} http/https 协议相关配置段
mail {
...
} mail 协议相关配置段
stream {
...
} stream 服务器相关配置段
http协议相关的配置结构
http {
...
... 各server的公共配置
server { 每个server用于定义一个虚拟主机
...
}
server {
...
server_name 虚拟主机名
root 主目录
alias 路径别名
location [OPERATOR] URL { 指定URL的特性
...
if CONDITION {
...
}
}
}
}
- Main 全局配置段常见的配置指令分类
正常运行必备的配置
优化性能相关的配置
用于调试及定位问题相关的配置
事件驱动相关的配置 - 帮助文档
http://nginx.org/en/docs/ - 正常运行必备的配置：
1、user
指定worker进程的运行身份，如组不指定，默认和用户名同名
Syntax: user user [group];
Default: user nobody nobody;
Context: main
注意：更改运行nginx程序的用户，要授权该用户能够访问主网页文件的权限
2、pid /PATH/TO/PID_FILE;
指定存储nginx主进程PID的文件路径
文件路径：/run/nginx.pid，服务启动或停止，该文件也会自动生成或删除
nginx没有线程，只有进程，一个进程并发响应多个访问
3、include file | mask;
指明包含进来的其它配置文件片断
4、load_module file ;
模块加载配置文件： /usr/share/nginx/modules/*.conf
指明要装载的动态模块路径： /usr/lib64/nginx/modules - 性能优化相关的配置：
1、worker_processes number | auto;
worker进程的数量；通常应该为当前主机的cpu的物理核心数
增加cpu颗数(以虚拟机为例)，使用reload命令不生效，需要重启才能根据cpu颗数生成对应的work进程数
2、worker_cpu_affinity cpumask …;
worker进程绑定某颗cpu，使用固定的某颗cpu，充分利用该cpu的缓存
ps axo pid,cmd,psr |grep nginx 查看nginx进程使用的cpu
CPU MASK： 00000001：0号CPU 0号cpu为第1颗cpu
00000010：1号CPU
....
10000000：8号CPU 7号cpu为第8颗cpu
绑定cpu
worker_cpu_affinity 0001 0010 0100 1000; 分别绑定0,1,2,3号cpu
查看绑定后，cpu是否有变化
watch -n1 'ps axo pid,cmd,psr |grep nginx'
3、worker_priority number;
指定worker进程的nice值，设定worker进程优先级：[-20,19],值越小，优先级越高
查看优先级
watch -n1 ‘ps axo pid,cmd,psr,ni |grep nginx’
4、worker_rlimit_nofile number;
worker进程所能够打开的文件数量上限,即能够允许多少用户并发访问，如65535
-
事件驱动相关的配置:
events {
…
}
1、worker_connections number;
每个worker进程所能够打开的最大并发连接数数量，如10240
总最大并发数：worker_processes * worker_connections
注意：设置worker进程打开的文件最大值时，也要注意客户端中用户的并发连接数(即用户所在主机能够打开的文件最大值)，因为主机默认打开的文件数量为1024，需要进行更改后才能打开足够多的文件
ulimit -a 查看打开文件数量的默认值
ulimit -n # 设置本机打开的文件数最大值
2、use method;
指明并发连接请求的处理方法 ,默认自动选择最优方法
示例：use epoll;
3、accept_mutex on | off;
处理新的连接请求的方法；on指由各个worker轮流处理新请求，Off指每个新请求的到达都会通知(唤醒)所有的worker进程，但只有一个进程可获得连接，造成“惊群”，影响性能 -
调试和定位问题：
1、daemon on|off;
是否以守护进程方式运行nignx，默认是守护进程(后台运行)方式，一般在测试环境中使用
2、master_process on|off;
是否以master/worker模型运行nginx；默认为on,如果改为off将不启动worker，只有master进程
3、error_log file [level] ;
错误日志文件及其级别；出于调试需要，可设定为debug；但debug仅在编译时使用了“–with-debug”选项时才有效
/path/logfile： 记录到文件中
stderr： 发送到标准错误
syslog：server-address[,parameter=values] 发送到syslog
memory:size 内存
level:debug|info|notice|warn|error|crit|alter|emerg 日志级别
4、Nginx各种模块实现web服务
http协议的相关配置
http {
... ...
server {
...
server_name
root
location [OPERATOR] /uri/ {
...
}
}
server {
...
}
}
ngx_http_core_module
- ngx_http_core_module
- 与套接字相关的配置：
1、server { … }
配置一个虚拟主机
server {
listen address[:PORT]|PORT;
server_name SERVER_NAME;
root /PATH/TO/DOCUMENT_ROOT;
}
2、listen PORT|address[:port]|unix:/PATH/TO/SOCKET_FILE
listen address[:port] [default_server] [ssl] [http2 | spdy] [backlog=number] [rcvbuf=size] [sndbuf=size];
default_server 设定为默认虚拟主机
ssl 限制仅能够通过ssl连接提供服务
backlog=number 超过并发连接数后，新请求进入后援队列的长度
rcvbuf=size 接收缓冲区大小
sndbuf=size 发送缓冲区大小
注意：
(1) 基于port；
listen PORT; 指令监听在不同的端口
(2) 基于ip的虚拟主机
listen IP:PORT; IP 地址不同
(3) 基于hostname
server_name fqdn; 指令指向不同的主机名
注意：#如果只写端口号是指监听本机所有ip地址的该端口号，如果在端口号后面加上default_server是指如果访问的不是定义的域名，将会显示被设置为默认的网站主网页内容
3、server_name name …;
虚拟主机的主机名称后可跟多个由空白字符分隔的字符串
支持*通配任意长度的任意字符
server_name *.magedu.com www.magedu.*
支持~起始的字符做正则表达式模式匹配，性能原因慎用
server_name ~^www\d+\.magedu\.com$
说明：\d 表示 [0-9]
匹配优先级机制从高到低
(1) 首先是字符串精确匹配 如：www.magedu.com
(2) 左侧*通配符 如：*.magedu.com
(3) 右侧*通配符 如：www.magedu.*
(4) 正则表达式 如： ~^.*\.magedu\.com$
(5) default_server
4、tcp_nodelay on | off;
在keepalived模式下的连接是否启用TCP_NODELAY选项
当为off时，延迟发送，合并多个请求后再发送
默认On时，不延迟发送
可用于：http, server, location
5、sendfile on | off;
是否启用sendfile功能，在内核中封装报文直接发送,默认Off
6、server_tokens on | off | build | string
是否在响应报文的Server首部显示nginx版本
off为隐藏版本号，on表示不隐藏
build可自定义显示版本内容，商业版支持该选项
支持语句块：http,server,location
- 定义路径相关的配置
7、root
设置web资源的路径映射；用于指明请求的URL所对应的文档的目录路径，可用于http, server, location, if in location
server {
...
root /data/www/vhost1;
}
示例
http://www.magedu.com/images/logo.jpg
--> /data/www/vhosts/images/logo.jpg
支持虚拟目录，可以在主目录下创建软链接，链接到其他目录下
当访问该主目录下的软链接时，显示的内容为链接的文件内容
配置如下：
server{
listen 80 default_server;
server_name www.a.com www.b.com;
root /data/website1;
}
在网站主目录下创建软链接
cd /data/website1
ln -s /data2/test bbs
设置测试网页内容
echo /data2/test/index.html > /data2/test/index.html
访问虚拟目录
curl www.a.com/bbs/
/data2/test/index.html
注意：当访问网站主目录下的子目录时，要在路径最后加上/，如curl www.a.com/test/
8、location [ = | ~ | ~* | ^~ ] uri { … }
location @name { … }
在一个server中location配置段可存在多个，用于实现从uri到文件系统的路径映射；ngnix会根据用户请求的URI来检查定义的所有location，并找出一个最佳匹配，而后应用其配置
示例1：
server {...
server_name www.magedu.com;
location /images/ {
root /data/imgs/;
}
}
http://www.magedu.com/images/logo.jpg
--> /data/imgs/images/logo.jpg
匹配优先级：
= 对URI做精确匹配；
location = / {
...
}
http://www.magedu.com/ 匹配
http://www.magedu.com/index.html 不匹配
^~ 对URI的最左边部分做匹配检查，不区分字符大小写
~ 对URI做正则表达式模式匹配，区分字符大小写
~* 对URI做正则表达式模式匹配，不区分字符大小写
不带符号 匹配起始于此uri的所有的uri
匹配优先级从高到低：
=, ^~, ～/～*, 不带符号
示例2：
root /vhosts/www/htdocs/;
http://www.magedu.com/index.html
--> /vhosts/www/htdocs/index.html
server {
root /vhosts/www/htdocs/ ;
location /admin/ {
root /webapps/app1/data/;
}
}
http://www.magedu.com/admin/index.html
--> /webapps/app1/data/admin/index.html
location示例：
location = / { http://www.magedu.com/
[ configuration A ]
}
location / { http://www.magedu.com/index.html
[ configuration B ]
}
location /documents/ { http://www.magedu.com/documents/logo.jpg
[ configuration C ]
}
location ^~ /images/ { http://www.magedu.com/documents/linux.txt
[ configuration D ]
}
location ~* \.(gif|jpg|jpeg)$ { http://www.magedu.com/images/logo.jpeg
[ configuration E ]
}
9、alias path;
路径别名，文档映射的另一种机制；仅能用于location上下文
示例：
http://www.magedu.com/bbs/index.html
location /bbs {
alias /web/forum/;
}
访问http://www.magedu.com/bbs/index.html，相当于访问/web/forum/index.html 注意： /bbs 后建议不要加 /
location /bbs/ {
root /web/forum/;
}
访问http://www.magedu.com/bbs/index.html，相当于访问/web/forum/bbs/index.html
注意：location中使用root指令和alias指令的意义不同
(a) root，给定的路径对应于location中的/uri 左侧的/
(b) alias，给定的路径对应于location中的/uri 的完整路径
当使用location语句块时，且该语句块中有alias别名时
如果/bbs后带有/，/web/forum后必须带有/
location /bbs/ {
alias /web/forum/;
}
如果/bbs后没有/，/web/forum后有没有/，均不影响访问
location /bbs {
alias /web/forum/;
}
10、index file …;
指定默认网页文件，此指令由ngx_http_index_module模块提供
11、error_page code … [=[response]] uri;
模块：ngx_http_core_module
定义错误页，以指定的响应状态码进行响应
可用位置：http, server, location, if in location
error_page 404 /404.html 当返回404时，默认显示404错误页面
error_page 404 =200 /404.html 当返回404时，把404状态码转换为200，但显示的页面仍为404 NOT FOUND页面,可防止某些浏览器对于web服务的错误页面劫持
知识扩展：
错误状态码：
200 成功
301 永久重定向，跳转前的域名已经不再使用
302 临时重定向，跳转前的域名还在使用
401 验证返回码
防止错误页面被劫持，如360浏览器，当访问不到想要访问的页面时，会返回404状态码，该浏览器会劫持404页面，放入自己想要放入的内容，如打广告
server{
listen 80 default_server;
server_name www.a.com www.b.com;
root /data/website1;
error_page 404 /404_error.html;
}
制作错误页面内容
cd /data/website1
echo 404 error > 404_error.html
[root@centos6 ~]# curl www.a.com/xxx.html
404 error 错误页面不变
[root@centos6 ~]# curl -I www.a.com/xxx.html
HTTP/1.1 404 Not Found 返回状态码为404
Server: nginx/1.12.2
Date: Fri, 09 Nov 2018 12:19:39 GMT
Content-Type: text/html
Content-Length: 10
Connection: keep-alive
ETag: "5be57a95-a"
解决方法:把404状态码转为其他状态码，如302，这样一来302状态码就不会被劫持，因为劫持302状态码是违法的
server{
listen 80 default_server;
server_name www.a.com www.b.com;
root /data/website1;
error_page 404 =302 /404_error.html;
}
[root@centos6 ~]# curl www.a.com/xxx.html
404 error 错误页面不变
[root@centos6 ~]# curl -I www.a.com/xxx.html
HTTP/1.1 302 Moved Temporarily 返回状态码为302
Server: nginx/1.12.2
Date: Fri, 09 Nov 2018 12:18:32 GMT
Content-Type: text/html
Content-Length: 10
Connection: keep-alive
ETag: "5be57a95-a"
12、try_files file … uri;
try_files file … =code;
按顺序检查文件是否存在，返回第一个找到的文件或文件夹（结尾加斜线表示为文件夹），如果所有文件或文件夹都找不到，会进行一个内部重定向到最后一个参数。只有最后一个参数可以引起一个内部重定向，之前的参数只设置内部URI的指向。最后一个参数是回退URI且必须存在，否则会出现内部500错误
location /images/ {
try_files $uri /images/default.gif;
} 说明：/images/default.gif是URI
#如果访问的内容存在，返回存在的文件内容，其中$uri代表存在的页面内容
#如果访问的页面不存在，返回一个指定的页面/images/default.gif，如果/images/default.gif也不存在，则会出现500错误
location / {
try_files $uri $uri/index.html $uri.html =404;
}
#按照指定的文件查找，如果全都找不到就返回404错误页面
- 定义客户端请求的相关配置
13、keepalive_timeout timeout [header_timeout];
设定保持连接超时时长，0表示禁止长连接，默认为75s
支持语句块：server，http，location
14、keepalive_requests number;
在一次长连接上所允许请求的资源的最大数量，默认为100
15、keepalive_disable none | browser …;
对哪种浏览器禁用长连接
16、send_timeout time;
向客户端发送响应报文的超时时长，此处是指两次写操作之间的间隔时长，而非整个响应过程的传输时长
17、client_body_buffer_size size;
用于接收每个客户端请求报文的body部分的缓冲区大小；默认为16k；超出此大小时，其将被暂存到磁盘上的由下面client_body_temp_path指令所定义的位置
18、client_body_temp_path path [level1 [level2 [level3]]];
设定存储客户端请求报文的body部分的临时存储路径及子目录结构和数量
目录名为16进制的数字；
client_body_temp_path /var/tmp/client_body 1 2 2
1 1级目录占1位16进制，即2^4=16个目录 0-f
2 2级目录占2位16进制，即2^8=256个目录 00-ff
2 3级目录占2位16进制，即2^8=256个目录 00-ff
知识扩展：
目录命名详解:
client_body_temp_path /var/tmp/client_body 1 2 2
目录名称根据hash值中的16进制数命名
存储时按照client_body_temp_path /var/tmp/client_body后的1 2 2的格式命名目录并存储
假设hash值为87e258c498b3059c52d381d4299574cc
目录名称按照hash值命名，从后往前取
一级目录取1位为c，目录为/var/tmp/client_body/c
二级目录取2位为4c(不包括已经用掉的c)，目录为/var/tmp/client_body/c/4c
三级目录取2位为57(不包括已经用掉的4cc)，目录为/var/tmp/client_body/c/4c/57
即/var/tmp/client_body/0-F/00-FF/00-FF
这样一来，存储的目录数量为16*256*256=1048576，能够缓存的数据大大增加，而查找时只需查找三级目录即可
- 对客户端进行限制的相关配置
19、limit_rate rate;
限制响应给客户端的传输速率，单位是bytes/second
默认值0表示无限制
20、limit_except method … { … }，仅用于location
限制客户端使用除了指定的请求方法之外的其它方法
method:GET, HEAD, POST, PUT, DELETE，MKCOL, COPY, MOVE, OPTIONS, PROPFIND, PROPPATCH, LOCK, UNLOCK, PATCH
limit_except GET {
allow 192.168.1.0/24;
deny all;
}
允许192.168.1.0网段使用除了GET和HEAD之外的其他方法，其他主机全部拒绝
curl -XPUT /etc/fstab http://192.168.32.129
使用curl -X测试服务器是否允许PUT上传文件
- 文件操作优化的配置
21、aio on | off | threads[=pool];
是否启用aio功能
22、directio size | off;
当文件大于等于给定大小时，例如directio 4m，同步（直接）写磁盘，而非写缓存
23、open_file_cache off;
open_file_cache max=N [inactive=time];
nginx可以缓存以下三种信息：
(1) 文件元数据：文件的描述符、文件大小和最近一次的修改时间
(2) 打开的目录结构
(3) 没有找到的或者没有权限访问的文件的相关信息
没有权限访问的文件第一次访问时，会查询该文件并把查找结果缓存下来，第二次访问时，直接返回缓存结果，节省资源
max=N：可缓存的缓存项上限；达到上限后会使用LRU算法实现管理
LRU算法：最近最少使用算法，最早最少使用的文件将会被淘汰
inactive=time：缓存项的非活动时长，在此处指定的时长内未被命中的或命中的次数少于open_file_cache_min_uses指令所指定的次数的缓存项即为非活动项，将被删除
24、open_file_cache_errors on | off;
是否缓存查找时发生错误的文件一类的信息
默认值为off
25、open_file_cache_min_uses number;
open_file_cache指令的inactive参数指定的时长内，至少被命中此处指定的次数方可被归类为活动项
默认值为1
26、open_file_cache_valid time;
缓存项有效性的检查频率
默认值为60s
nginx_http_access_module
- ngx_http_access_module模块
可实现基于ip的访问控制功能
1、allow address | CIDR | unix: | all;
2、deny address | CIDR | unix: | all;
http, server, location, limit_except
自上而下检查，一旦匹配，将生效，条件严格的置前
示例：
location / {
deny 192.168.1.1;
allow 192.168.1.0/24;
allow 10.1.1.0/16;
allow 2001:0db8::/32;
deny all;
}
注意：范围小，精确度高的放在上面，范围大的放在下面
ngx_http_auth_basic_module
- ngx_http_auth_basic_module模块
实现基于用户的访问控制，使用basic机制进行用户认证
1、auth_basic string | off;
2、auth_basic_user_file file;
location /admin/ {
auth_basic “Admin Area”;
auth_basic_user_file /etc/nginx/.ngxpasswd;
}
用户口令文件：
1、明文文本：格式name:password:comment
2、加密文本：由htpasswd命令实现
httpd-tools所提供
知识扩展：
生成用户名密码文件
cd /etc/nginx/
htpasswd -c .httpuser httpuser1
htpasswd .httpuser httpuser2
mkdir /data/website1/admin
vim /etc/nginx/conf.d/vhosts
server{
listen 80 default_server;
server_name www.a.com www.b.com;
root /data/website1;
location /admin/ {
auth_basic "Admin Area";
auth_basic_user_file /etc/nginx/conf.d/.httpuser;
}
}
使用浏览登录测试
使用用户名密码测试，如果不带密码，会自动提示输入密码
curl -u httpuser1:centos www.a.com/admin/
ngx_http_stub_status_module
- ngx_http_stub_status_module模块
用于输出nginx的基本状态信息
输出信息示例：
Active connections: 291
server accepts handled requests
16630948 16630948 31070465
上面三个数字分别对应accepts,handled,requests三个值
Reading: 6 Writing: 179 Waiting: 106
Active connections:当前状态，活动状态的连接数
accepts：统计总值，已经接受的客户端请求的总数
handled：统计总值，已经处理完成的客户端请求的总数
requests：统计总值，客户端发来的总的请求数
Reading：当前状态，正在读取客户端请求报文首部的连接的连接数
Writing：当前状态，正在向客户端发送响应报文过程中的连接数
Waiting：当前状态，正在等待客户端发出请求的空闲连接数
1、stub_status;
示例：
location /status {
stub_status;
allow 172.16.0.0/16;
deny all;
}
ngx_http_log_module
- ngx_http_log_module模块
指定日志格式记录请求
支持语句块：http
日志分为两部分：
定义日志格式
调用日志格式存储日志
1、log_format name string …;
name是指日志名称，string可以使用nginx核心模块及其它模块内嵌的变量
2、access_log path [format [buffer=size] [gzip[=level]] [flush=time] [if=condition]];
access_log 调用日志
path 是指日志路径
access_log off;
访问日志文件路径，格式及相关的缓冲的配置
buffer=size
flush=time 设置缓冲，生成日志，不立即写入磁盘，速度快
缺点：无法立即查看日志
示例1：
http {
log_format testlog '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
定义日志格式名称为testlog
access_log /var/log/nginx/access.log testlog;
调用testlog日志格式，指定日志路径以及日志文件
}
示例2：
log_format compression '$remote_addr-$remote_user [$time_local] '
'"$request" $status $bytes_sent '
'"$http_referer" "$http_user_agent" "$gzip_ratio"';
access_log /spool/logs/nginx-access.log compression buffer=32k;
3、open_log_file_cache max=N [inactive=time] [min_uses=N] [valid=time];
open_log_file_cache off;
缓存各日志文件相关的元数据信息
max：缓存的最大文件描述符数量
min_uses：在inactive指定的时长内访问大于等于此值方可被当作活动项
inactive：非活动时长
valid：验证缓存中各缓存项是否为活动项的时间间隔
ngx_http_gzip_module
- ngx_http_gzip_module
用gzip方法压缩响应数据，节约带宽
支持语句块：http，server，location
1、gzip on | off;
启用或禁用gzip压缩
2、gzip_comp_level level;
压缩比由低到高：1 到 9
默认：1
3、gzip_disable regex …;
匹配到客户端浏览器不执行压缩
4、gzip_min_length length;
启用压缩功能的响应报文大小阈值
5、gzip_http_version 1.0 | 1.1;
设定启用压缩功能时，协议的最小版本
默认：1.1
6、gzip_buffers number size;
支持实现压缩功能时缓冲区数量及每个缓存区的大小
默认：32 4k 或 16 8k
7、gzip_types mime-type …;
指明仅对哪些类型的资源执行压缩操作；即压缩过滤器
默认包含有text/html，不用显示指定，否则出错
8、gzip_vary on | off;
如果启用压缩，是否在响应报文首部插入“Vary: Accept-Encoding”
9、gzip_proxied off | expired | no-cache | no-store | private | no_last_modified | no_etag | auth | any …;
nginx充当代理服务器时，对于后端服务器的响应报文，在何种条件下启用压缩功能
off：不启用压缩
expired，no-cache, no-store，private：对后端服务器的响应报文首部Cache-Control值任何一个，启用压缩功能
示例：
gzip on;
gzip_comp_level 6;
gzip_min_length 64;
gzip_proxied any;
gzip_types text/xml text/css application/javascript;
注意：使用curl命令测试压缩时，发送的请求报文默认不带有压缩请求，要加上–compress选项表示带有压缩的请求，服务器返回文件时才会对文件进行压缩；如果使用系统浏览器，默认带有压缩功能
一般情况下，都要启动压缩功能，以节省带宽资源
ngx_http_ssl_module
- ngx_http_ssl_module模块：
1、ssl on | off;
为指定虚拟机启用HTTPS protocol， 建议用listen指令代替
2、ssl_certificate file;
当前虚拟主机使用PEM格式的证书文件
3、ssl_certificate_key file;
当前虚拟主机上与其证书匹配的私钥文件
4、ssl_protocols [SSLv2] [SSLv3] [TLSv1] [TLSv1.1] [TLSv1.2]; 支持ssl协议版本，默认为后三个
5、ssl_session_cache off | none | [builtin[:size]] [shared:name:size];
none: 通知客户端支持ssl session cache，但实际不支持
builtin[:size]：使用OpenSSL内建缓存，为每worker进程私有
[shared:name:size]：在各worker之间使用一个共享的缓存
知识扩展：
生成自签名证书
cd /etc/pki/tls/certs
在该目录下，调用Makefile文件生成私钥和证书
vim Makefile
%.key:
umask 77 ; \
#/usr/bin/openssl genrsa -aes128 $(KEYLEN) > $@
/usr/bin/openssl genrsa $(KEYLEN) > $@
cp a.com* /etc/nginx/conf.d/
vim /etc/nginx/conf.d/vhosts
server{
listen 80 default_server;
listen 443 ssl; 启用https
server_name www.a.com;
root /data/website1;
ssl_certificate /etc/nginx/conf.d/a.com.crt; 指定证书文件路径
ssl_certificate_key /etc/nginx/conf.d/a.com.key; 指定私钥路径
}
server{
listen 80 ;
server_name www.b.com;
root /data/website2;
}
nginx -s reload 重新加载nginx服务
登录访问测试：
[root@centos6 ~]# curl -k https://www.a.com/ 使用curl命令测试，-k选项表示忽略证书
/data/wensite1/index.html
windows系统如何更改/etc/hosts文件
文件路径 C:\Windows\System32\drivers\etc\hosts
使用记事本打开进行编辑
# localhost name resolution is handled within DNS itself.
# 127.0.0.1 localhost
# ::1 localhost
192.168.32.129 www.a.com www.b.com www.c.com
浏览器显示证书不安全，可以把证书导出，然后双击证书再导入，导入时选择受信任的证书颁发机构
注意：apache不支持一个物理服务器上基于一个ip设置多个加密站点
nginx支持该功能
SNI 服务器命名指示扩展
支持基于一个ip的多个虚拟主机设置多个加密的网站
[root@centos7 conf.d]# vim vhosts.conf
server{
listen 80 default_server;
listen 443 ssl;
server_name www.a.com;
root /data/website1;
ssl_certificate /etc/nginx/conf.d/a.com.crt;
ssl_certificate_key /etc/nginx/conf.d/a.com.key;
}
server{
listen 80 ;
listen 443 ssl;
server_name www.b.com;
root /data/website2;
ssl_certificate /etc/nginx/conf.d/b.com.crt;
ssl_certificate_key /etc/nginx/conf.d/b.com.key;
}
重新加载nginx服务
nginx -s reload
6、ssl_session_timeout time;
客户端连接可以复用ssl session cache中缓存的有效时长，默认5m
示例：
server {
listen 443 ssl;
server_name www.magedu.com;
root /vhosts/ssl/htdocs;
ssl on;
ssl_certificate /etc/nginx/ssl/nginx.crt;
ssl_certificate_key /etc/nginx/ssl/nginx.key;
ssl_session_cache shared:sslcache:20m;
ssl_session_timeout 10m;
}
ngx_http_rewrite_module
- ngx_http_rewrite_module模块：
支持语句块：server，location
将用户请求的URI基于PCRE regex所描述的模式进行检查，而后完成重定向替换
即地址重写，把用户发送请求中的uri更改后发送到另外的uri上，类似于apache的重定向(301 302)
示例：
http://www.magedu.com/hn --> http://www.magedu.com/henan
http://www.magedu.com --> https://www.magedu.com/
1、rewrite regex replacement [flag]
将用户请求的URI基于regex所描述的模式进行检查，匹配到时将其替换为replacement指定的新的URI
注意：如果在同一级配置块中存在多个rewrite规则，那么会自下而下逐个检查；被某条件规则替换完成后，会重新一轮的替换检查
隐含有循环机制,但不超过10次；如果超过，提示500响应码，[flag]所表示的标志位用于控制此循环机制
如果replacement是以http://或https://开头，则替换结果会直接以重向返回给客户端, 即永久重定向301
[flag]：
last：重写完成后停止对当前URI在当前location中后续的其它重写操作，而后对新的URI启动新一轮重写检查；提前重启新一轮循环，不建议在location中使用。即检查到匹配项后停止检查，从头开始新一轮的规则匹配，类似于shell脚本中continue指令
break：重写完成后停止对当前URI在当前location中后续的其它重写操作，而后直接跳转至重写规则配置块之后的其它配置；结束循环，建议在location中使用。检查到break后停止对当前location语句块的检查，直接对下一个location语句块的规则进行匹配，类似于shell脚本中的break。
redirect：临时重定向，重写完成后以临时重定向方式直接返回重写后生成的新URI给客户端，由客户端重新发起请求；使用相对路径,或者http://或https://开头，状态码：302
permanent:重写完成后以永久重定向方式直接返回重写后生成的新URI给客户端，由客户端重新发起请求，状态码：301
示例：
用户访问一个网站链接时，跳转到另一个链接
当访问www.a.com/bbs/时，跳转到www.a.com/forum/
[root@centos7 website1]# vim /etc/nginx/conf.d/vhosts.conf
server{
listen 80 default_server;
listen 443 ssl;
server_name www.a.com;
root /data/website1;
ssl_certificate /etc/nginx/conf.d/a.com.crt;
ssl_certificate_key /etc/nginx/conf.d/a.com.key;
location /bbs {
rewrite ^/bbs/(.*)$ /forum/$1 last;
#使用正则表达式后向引用，把/bbs/替换为/forum/，其他不变，由于nginx中不支持后项引用的\1，因此用$1代替
}
}
重新加载nginx服务
nginx -s reload
[root@centos7 website1]# cat /data/website1/forum/index.html
/data/website1/forum/index.html
[root@centos7 website1]# cat /data/website1/bbs/index.html
/data/website1/bbs/index.html
[root@centos6 ~]# curl http://www.a.com/bbs/index.html
/data/website1/forum/index.html
注意：跳转后，bbs/目录下的网页文件可以删除，因此bbs/链接会跳转到forum/，bbs/目录下的文件已经用不到了
使用curl -I http://www.a.com/bbs/index.html访问网站，响应码为200
当配置文件中rewrite ^/bbs/(.*)$ /forum/$1 last;
/bbs和/forum后带有/时，使用浏览器访问时也必须加上在连接后也必须加/
如 curl http://www.a.com/bbs/
注意：
rewrite ^/bbs/(.*)$ /forum/$1 last;
#当配置文件中rewrite后使用last或break时，直接返回请求数据，在服务器内部完成跳转，跳转到重定向的内容，输入的链接路径(url)不会发生变化
rewrite ^/bbs/(.*)$ /forum/$1 redirect;
#当配置文件中rewrite后使用redirect时，会让用户重新发送一个新的请求
#然后返回请求的数据，因此不仅会跳转到重定向的内容，输入的链接路径(url)也会自动发生变化
知识扩展1：
1、如何实现一台服务器上两个域名之间的跳转，如把老的域名www.360buy.com跳转为新的域名www.jd.com
vim /etc/nginx/conf.d/vhosts.conf
server{
listen 80 default_server;
listen 443 ssl;
server_name www.a.com;
root /data/website1;
ssl_certificate /etc/nginx/conf.d/a.com.crt;
ssl_certificate_key /etc/nginx/conf.d/a.com.key;
location / {
rewrite / http://www.b.com; 把访问www.a.com的请求跳转到www.b.com
}
}
server{
listen 80 ;
listen 443 ssl;
server_name www.b.com;
root /data/website2;
ssl_certificate /etc/nginx/conf.d/b.com.crt;
ssl_certificate_key /etc/nginx/conf.d/b.com.key;
}
重新加载nginx服务
nginx -s reload
[root@centos6 ~]# curl -L http://www.a.com/ 使用curl命令访问重定向页面，必须加上-L选项
/data/wensite2/index.html
注意：该写法为临时重定向，如果想要永久重定向，则需要在rewrite行最后加上permanent
只要访问的是txt后缀的请求，显示的页面时html后缀的文件
cd /data/website1
echo a.txt > a.txt
echo b.txt > b.txt
echo a.html > a.html
echo b.html > b.html
vim /etc/nginx/conf.d/vhosts
server{
listen 80 default_server;
listen 443 ssl;
server_name www.a.com;
root /data/website1;
ssl_certificate /etc/nginx/conf.d/a.com.crt;
ssl_certificate_key /etc/nginx/conf.d/a.com.key;
location ~ \.txt$ {
rewrite (.*)\.txt$ $1.html; 使用正则表达式后向引用，把以.txt后缀的文件替换为.html后缀的文件
}
}
重新加载nginx服务
nginx -s reload
测试:
[root@centos6 ~]# curl -L http://www.a.com/a.txt
a.html
[root@centos6 ~]# curl -L http://www.a.com/b.txt
b.html
注意：这种写法，浏览器中的路径并不会发生变化
rewrite (.*)\.txt$ $1.html redirect;
在rewrite行最后加上redirect，浏览器中的路径将会改变为跳转的路径
注意：这种写法中，如果有多个location，可能会出现死循环的现象
如：
server{
listen 80 default_server;
listen 443 ssl;
server_name www.a.com;
root /data/website1;
ssl_certificate /etc/nginx/conf.d/a.com.crt;
ssl_certificate_key /etc/nginx/conf.d/a.com.key;
location ~ \.txt$ {
rewrite (.*)\.txt$ $1.html;
}
location ~ \.html$ {
rewrite (.*)\.html$ $1.txt redirect;
}
}
重新加载nginx服务
nginx -s reload
测试：
[root@centos6 ~]# curl -L http://www.a.com/b.txt
curl: (47) Maximum (50) redirects followed
注意：如果使用last指令也会出现死循环的现象，但二者的错误是有区别的
redirect错误是指浏览器认为跳转次数太多而报错
last错误是指服务器内部跳转次数超过限制，出现500错误
解决方法：使用break指令
如：
server{
listen 80 default_server;
listen 443 ssl;
server_name www.a.com;
root /data/website1;
ssl_certificate /etc/nginx/conf.d/a.com.crt;
ssl_certificate_key /etc/nginx/conf.d/a.com.key;
location ~ \.txt$ {
rewrite (.*)\.txt$ $1.html break;
}
location ~ \.html$ {
rewrite (.*)\.html$ $1.txt break;
}
}
重新加载nginx服务
nginx -s reload
测试：
[root@centos6 ~]# curl -L http://www.a.com/b.txt
b.html[root@centos6 ~]# curl -L http://www.a.com/b.txt
b.html
[root@centos6 ~]# curl -L http://www.a.com/b.html
b.txt
只匹配一次，后续就会停止匹配
知识扩展2：
2、实现http跳转到https
方法1：使用两个虚拟主机实现
server {
listen 80 default_server;
server_name www.a.com;
root /data/website1;
location / {
rewrite / https://www.a.com redirect; 把http临时重定向到https
}
}
server {
listen 443 ssl;
server_name www.a.com;
root /data/website1;
ssl_certificate /etc/nginx/conf.d/a.com.crt;
ssl_certificate_key /etc/nginx/conf.d/a.com.key;
}
实验测试写法：
注意：一般情况下，两个虚拟主机80和443的主目录是一致的
为了查看测试效果，把两个虚拟主机的主目录分开写，分别是/data/wesite1和/data/website3
vim /etc/nginx/conf.d/vhosts.conf
server {
listen 80 default_server;
#listen 443 ssl;
server_name www.a.com;
root /data/website1;
#ssl_certificate /etc/nginx/conf.d/a.com.crt;
#ssl_certificate_key /etc/nginx/conf.d/a.com.key;
location /bbs {
rewrite ^/bbs/(.*)$ /forum/$1 permanent;
}
location / {
rewrite / https://www.a.com redirect;
}
}
server {
listen 443 ssl;
server_name www.a.com;
root /data/website3;
ssl_certificate /etc/nginx/conf.d/a.com.crt;
ssl_certificate_key /etc/nginx/conf.d/a.com.key;
}
重新加载nginx服务
nginx -s reload
[root@centos7 data]# cat /data/website1/index.html
/data/wensite1/index.html
[root@centos7 data]# cat /data/website3/index.html
/data/website3/index.html
测试：
[root@centos6 ~]# curl -kL https://www.a.com
/data/website3/index.html
方法2：使用一个虚拟主机实现
vim /etc/nginx/conf.d/vhosts.conf
server {
listen 80 default_server;
listen 443 ssl;
server_name www.a.com;
root /data/website1;
ssl_certificate /etc/nginx/conf.d/a.com.crt;
ssl_certificate_key /etc/nginx/conf.d/a.com.key;
location / {
if ( $scheme = http ){
rewrite / https://www.a.com redirect;
}
}
}
使用条件判断实现http重定向到https
重新加载nginx服务
nginx -s reload
测试：
[root@centos6 ~]# curl -kL http://www.a.com/
/data/wensite1/index.html
[root@centos6 ~]# curl -kL http://www.a.com/a.html
/data/wensite1/index.html
2、return
return code [text]; 返回状态码和提示信息
return code URL; 返回状态码和url
return URL; 返回url
停止处理，并返回给客户端指定的响应码，对 301, 302, 303, 307, 308跳转到URL
示例：
(1)return code [text]; 返回状态码和提示信息
location /admin {
return 403 "forbidden";
}
测试结果：
[root@centos6 ~]# curl http://www.a.com/admin
forbidden
(2)return code URL; 返回状态码和url
location /admin {
#return 403 "forbidden";
return 307 http://www.b.com;
}
测试结果：返回307
[root@centos6 ~]# curl http://www.a.com/admin
forbidden[root@centos6 ~]# curl http://www.a.com/admin
307 Temporary Redirect
307 Temporary Redirect
nginx/1.12.2
www.a.com 的主页面内容为/data/wensite1/index.html
www.b.com 的主页面内容为/data/wensite2/index.html
[root@centos6 ~]# curl -L http://www.a.com/admin
/data/wensite2/index.html
(3)return URL; 返回url
location /admin {
#return 403 "forbidden";
return http://www.b.com;
}
测试结果：返回302
[root@centos6 ~]# curl -I http://www.a.com/admin
HTTP/1.1 302 Moved Temporarily
Server: nginx/1.12.2
Date: Sun, 11 Nov 2018 01:55:46 GMT
Content-Type: text/html
Content-Length: 161
Connection: keep-alive
Location: http://www.b.com
3、rewrite_log on | off;
是否开启重写日志, 发送至error_log（notice level）
支持语句块：http，server，location，if
4、set v a r i a b l e v a l u e ; 用 户 自 定 义 变 量 注 意 ： 变 量 定 义 和 调 用 都 要 以 variable value; 用户自定义变量 注意：变量定义和调用都要以 variablevalue; 用户自定义变量 注意：变量定义和调用都要以开头
5、if (condition) { … }
条件满足时，执行配置块中的配置指令；server, location
condition：
比较操作符：
= 相同 != 不同
~ 模式匹配，区分字符大小写
~* 模式匹配，不区分字符大小写
!~ 模式不匹配，区分字符大小写
!~* 模式不匹配，不区分字符大小写
文件及目录存在性判断：
-e，!-e 存在与否（包括文件，目录，软链接）
-f，!-f 文件 -d，!-d 目录 -x，!-x 执行
ngx_http_refer_module
- ngx_http_referer_module模块：
referer 是指访问该网站时是从哪个网站跳转过来的，可以查看该网站是否被其他网站盗链,如果日志中 referer项为空(即“-”)或搜索引擎,说明没有被盗链
该模块用来阻止Referer首部无有效值的请求访问，可防止盗链
1、valid_referers none|blocked|server_names|string …;
定义referer首部的合法可用值，不能匹配的将是非法值，即定义有效的referer，其他均为非法的referer首部
none：请求报文首部没有referer首部
当通过浏览器直接输入网站链接，没有referer首部
blocked：请求报文有referer首部，但无有效值
有referer首部，但为空值
使用curl命令，构建referer首部信息
curl -H “referer: https://www.baidu.com” http://www.b.com/
curl -e “https://www.google.com” http://www.b.com/
server_names：referer首部中包含本主机名，如：自己访问自己的网站
arbitrary_string：任意字符串，但可使用*作通配符
regular expression：被指定的正则表达式模式匹配到的字符串,要使用~开头，例如：~.*\.magedu\.com
示例：
valid_referers none block server_names *.magedu.com *.mageedu.com magedu.* mageedu.* ~\.magedu\.;
if ($invalid_referer) {
return 403 http://www.magedu.com;
}
ngx_http_proxy_module
代理服务器
同构代理服务器
客户端到达调度器的请求为http协议，后端服务器使用的是apache服务器，从反向代理服务器到后端服务器使用的也是http协议，这就是同构的代理服务器
异构代理服务器
客户端到达调度器的请求为http协议，后端服务器使用的是php-fpm服务器，从反向代理服务器到后端服务器则必须使用fastcgi协议，这就是异构的代理服务器
实验环境说明：以下模块示例说明均以此环境为例
客户端：172.20.120.193
配置/etc/hosts文件
172.20.120.255 www.a.com
反向代理服务器：
内网网卡地址192.168.32.129 反向代理服务器通过内网连接后端服务器
外网网卡地址172.20.120.255 客户端通过外网访问反向代理服务器
网站域名为：www.a.com
反向代理服务器无需启动转发功能
注意：一旦设置为反向代理服务器，本机网站主页面将会失效，凡是访问本机网站主页面都会被调度到后端服务器
RS1 192.168.32.130
主页面内容为RS1 Server
RS2 192.168.32.131
主页面内容为RS2 Server
- ngx_http_proxy_module模块：
转发请求至另一台主机
1、proxy_pass URL;
Context:location, if in location, limit_except
注意：proxy_pass后面路径不带uri时，会将location的uri传递（附加）给后端主机
server {
...
server_name HOSTNAME;
location /uri/ {
proxy_pass http://host[:port]; 最后没有/
}
...
}
上面示例中：
http://HOSTNAME/uri --> http://host/uri
如果上面示例中有 /，即：http://host[:port]/
意味着：http://HOSTNAME/uri --> http://host/ 即置换
proxy_pass后面的路径是一个uri时，其会将location的uri替换为proxy_pass的uri
server {
...
server_name HOSTNAME;
location /uri/ {
proxy_pass http://host/new_uri/;
}
...
}
http://HOSTNAME/uri/ --> http://host/new_uri/
总结：如果proxy_pass指向的代理服务器带有/，直接替换；如果proxy_pass指向的代理服务器不带/，则是追加
如果location定义其uri时使用了正则表达式的模式，则proxy_pass之后必须不能使用uri; 用户请求时传递的uri将直接附加至后端服务器之后
server {
...
server_name HOSTNAME;
location ~|~* /uri/ {
proxy_pass http://host; 不能加/
}
...
}
http://HOSTNAME/uri/ --> http://host/uri/
示例：
只有访问某类文件(如.txt后缀的文件)时才会调度到后端服务器
server {
listen 80 default_server;
listen 443 ssl;
server_name www.a.com;
location ~ \.txt$ {
proxy_pass http://192.168.32.130;
}
}
注意：当location后跟正则表达式时，proxy_pass指向的后端服务器不能带有uri，即/，否则会报错
[root@rs1 html]# cat /var/www/html/a.txt
RS1 a.txt
[root@centos6 ~]# curl http://www.a.com/a.txt
RS1 a.txt
知识扩展：
如何实现不同设备访问的请求调度到不同的后端服务器上
在反向代理服务器上如下设置：
vim /etc/nginx/conf.d/vhosts.conf
server {
listen 80;
server_name www.a.com;
location / {
proxy_pass http://192.168.32.130; 默认监听80端口
}
}
server {
listen 80;
server_name mobi.a.com;
location / {
proxy_pass http://192.168.32.130:81/; 使用81端口
}
}
server {
listen 80;
server_name app.a.com;
location / {
proxy_pass http://192.168.32.130:82/; 使用82端口
}
}
注意：如果基于FQDN设置虚拟主机，当反向代理服务器转发mobi.a.com和aap.a.com的报文时，
报文中的主机头(即FQDN)信息会被删除，只能转发www.a.com的报文，另外两个虚拟主机的报文无法被转发
因此只能使用基于端口号的虚拟主机来实现
在后端服务器进行如下配置：(以apache为例)
vim /etc/httpd/conf.d/vhost.conf
listen 81 监听81端口
listen 82 监听82端口
ServerName www.a.com
DocumentRoot "/data/www/"
Require all granted
ServerName mobi.a.com
DocumentRoot "/data/mobi/"
Require all granted
ServerName app.a.com
DocumentRoot "/data/app/"
Require all granted
在客户端测试时，注意selinux，防火墙是否关闭
2、proxy_set_header field value;
设定发往后端主机的请求报文的请求首部的值
Context: http, server, location
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
请求报文的标准格式如下：
X-Forwarded-For: client1, proxy1, proxy2
知识扩展：
在使用nginx或haproxy反向代理服务器调度客户端请求，后端服务器的日志中只能看到反向代理服务器的ip地址，
而无法看到客户端的真实ip地址，造成数据的丢失
解决方法：
使用proxy_set_header模块，在反向代理服务器向后端服务器传递的数据报文中添加一个头部信息，
后端服务器在把该头部信息取出或记录在日志中，进而获取想要的数据
X-Real-IP 头部名称可自定义，如自定义头部信息为clientip
$remote_addr 远程客户端真正的值
修改后端服务器的日志格式，记录自定义的头部名称
LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\" \"%{clientip}i\"" combined
设置反向代理服务器的配置文件
vim /etc/nginx/conf.d/vhosts.conf
server {
listen 80 default_server;
listen 443 ssl;
server_name www.a.com;
location / {
proxy_pass http://192.168.32.130/;
proxy_set_header clientip $remote_addr;
}
}
查看后端服务器的日志信息，在最后一项"172.20.120.193"就是客户端的外网地址
tail -f /var/log/httpd/access_log
192.168.32.129 - - [11/Nov/2018:16:37:06 +0800] "GET / HTTP/1.0" 200 14 "-"
"curl/7.19.7 (x86_64-redhat-linux-gnu) libcurl/7.19.7 NSS/3.27.1 zlib/1.2.3 libidn/1.18 libssh2/1.4.2" "172.20.120.193"
另外，可以使用该模块解决基于FQDN无法调度多个虚拟主机的问题，
只需把FQDN的信息通过配置文件添加到报文中传递给后端服务器即可，利用$host变量
在代理服务器进行以下配置：
vim /etc/nginx/conf.d/vhosts.conf
server {
listen 80;
server_name www.a.com;
location / {
proxy_pass http://192.168.32.130/;
proxy_set_header host $host; 使用$host变量在报文中添加主机头FQDN信息
}
}
server {
listen 80;
server_name mobi.a.com;
location / {
proxy_pass http://192.168.32.130/;
proxy_set_header host $host; 使用$host变量在报文中添加主机头FQDN信息
}
}
server {
listen 80;
server_name app.a.com;
location / {
proxy_pass http://192.168.32.130/;
proxy_set_header host $host; 使用$host变量在报文中添加主机头FQDN信息
}
在后端服务器进行以下配置：
vim /etc/httpd/conf.d/vhost.conf
ServerName www.a.com
DocumentRoot "/data/www/"
Require all granted
ServerName mobi.a.com
DocumentRoot "/data/mobi/"
Require all granted
ServerName app.a.com
DocumentRoot "/data/app/"
Require all granted
在客户端分别进行测试
注意：由于$host支持在http语句块，因此可以直接写到主配置文件的http语句块中，
无需在子配置文件的每一个虚拟主机中的location语句块中写入该指令
主配置文件：
vim /etc/nginx/nginx.conf
http {
proxy_set_header host $host;
}
3、proxy_cache_path;
定义可用于proxy功能的缓存；Context:http
proxy_cache_path path [levels=levels] [use_temp_path=on|off] keys_zone=name:size [inactive=time] [max_size=size] [manager_files=number] [manager_sleep=time] [manager_threshold=time] [loader_files=number] [loader_sleep=time] [loader_threshold=time] [purger=on|off] [purger_files=number] [purger_sleep=time] [purger_threshold=time];
4、proxy_cache zone | off; 默认off
指明调用的缓存，或关闭缓存机制；Context:http, server, location
zone是指自定义缓存名称
5、proxy_cache_key string;
缓存中用于“键”的内容
即基于该“键”计算hash值，并根据该hash值创建缓存目录(如1:1:1或1:2:2)
默认值：proxy_cache_key s c h e m e scheme schemeproxy_host$request_uri;
6、proxy_cache_valid [code …] time;
定义对特定响应码的响应内容的缓存时长
定义在http{…}中
示例:不同状态码可以定义不同的缓存时长
proxy_cache_valid 200 302 10m;
proxy_cache_valid 404 1m;
示例：在http配置定义缓存信息
proxy_cache_path /var/cache/nginx/proxy_cache
levels=1:1:1 keys_zone=proxycache:20m
inactive=120s max_size=1g;
说明：proxycache:20m 指内存中缓存的大小，主要用于存放key和metadata（如：使用次数）
max_size=1g 指磁盘存入文件内容的缓存空间最大值
调用缓存功能，需要定义在相应的配置段，如server{...}；
proxy_cache proxycache; 定义缓存名称
proxy_cache_key $request_uri; 引用请求的uri作为key进行hash运算
proxy_cache_valid 200 302 301 1h; 定义状态码的缓存时长
proxy_cache_valid any 1m; 其他任意状态码的缓存时长
7、proxy_cache_use_stale;
proxy_cache_use_stale error | timeout | invalid_header | updating | http_500 | http_502 | http_503 | http_504 | http_403 | http_404 | off …
在被代理的后端服务器出现哪种情况下，可直接使用过期的缓存响应客户端
8、proxy_cache_methods GET | HEAD | POST …;
对哪些客户端请求方法对应的响应进行缓存，GET和HEAD方法总是被缓存
示例：
使用缓存功能，需要先定义缓存，然后再调用缓存
在主配置文件http语句块中定义缓存
http {
proxy_cache_path /var/cache/nginx/proxycache levels=1:1:1 keys_zone=pr
oxycache:20m inactive=120s max_size=1g;
}
创建缓存目录
mkdir /var/cache/nginx
在子配置文件虚拟主机server，http，location语句块中调用缓存
server {
listen 80 default_server;
listen 443 ssl;
server_name www.a.com;
location / {
proxy_pass http://192.168.32.130/;
proxy_set_header clientip $remote_addr;
proxy_set_header host $host;
proxy_cache proxycache; 调用主配置文件中定义的缓存
proxy_cache_key $request_uri; 使用请求报文的uri作为key进行hash运算
proxy_cache_valid 200 302 301 1h; 定义状态码的缓存时长
proxy_cache_valid any 1m; 其他任意状态码的缓存时长
}
}
查看缓存文件
[root@centos7 ~]# tree /var/cache/nginx/
/var/cache/nginx/
└── proxycache
└── 9
└── d
└── 7
└── 6666cd76f96956469e7be39d750cc7d9
注意：这里按照1:1:1对hash值6666cd76f96956469e7be39d750cc7d9从后往前取值作为缓存子目录
注意：使用缓存速度变快，其原因是这种三级缓存目录结构使用hash值定义缓存目录，其查询效率更高
禁用缓存：只需注释掉proxy_cache proxycache;即可
9、proxy_hide_header field;
默认nginx在响应报文中不传递后端服务器的首部字段Date, Server, X-Pad, X-Accel-等，用于隐藏后端服务器特定的响应首部
知识扩展：
从客户端到后端服务器，数据报文经过反向代理服务器，可以分为四段：
第一段：客户端请求 ---> 反向代理服务器
第二段：反向代理服务器转发 ---> 后端服务器
第三段：后端服务器响应 ---> 反向代理服务器
第四段：反向代理服务器 ---> 客户端
对于nginx反向代理服务器来说，只能改变经过自己的报文，即能够改变的报文只有两段：
第二段从反向代理服务器发送给后端服务器的报文，第四段从反向代理服务器返回给客户端的报文
第二段的更改即为在报文中添加头部信息传递给后端服务器，在上面已经做过更改
该模块是对第四段报文的更改，可以隐藏后端服务器发送给客户端的报文信息
示例：隐藏Etag信息
vim /etc/nginx/conf.d/vhosts.conf
...
location / {
proxy_hide_header Etag;
}
...
[root@centos6 ~]# curl -I http://www.a.com 查看报文头部，Etag信息被隐藏
HTTP/1.1 200 OK
Server: nginx/1.12.2
Date: Sun, 11 Nov 2018 09:42:43 GMT
Content-Type: text/html; charset=UTF-8
Content-Length: 14
Connection: keep-alive
Last-Modified: Sun, 11 Nov 2018 07:28:05 GMT
Accept-Ranges: bytes
10、proxy_connect_timeout time;
定义与后端服务器建立连接的超时时长，如超时会出现502错误，默认为60s，一般不建议超出75s
11、proxy_send_timeout time;
将请求发送给后端服务器的超时时长；默认为60s
12、proxy_read_timeout time;
等待后端服务器发送响应报文的超时时长，默认为60s
ngx_http_headers_module
- ngx_http_headers_module模块
向由代理服务器响应给客户端的响应报文添加自定义首部，或修改指定首部的值
1、add_header name value [always];
添加自定义首部
add_header X-Via $server_addr;
add_header X-Cache $upstream_cache_status;
add_header X-Accel $server_name;
示例：
vim /etc/nginx/conf.d/vhosts.conf
...
location / {
add_header X-Via $server_addr;
add_header X-Cache $upstream_cache_status;
add_header X-Accel $server_name;
}
...
[root@centos6 ~]# curl -I http://www.a.com 查看报文头部信息
HTTP/1.1 200 OK
Server: nginx/1.12.2
Date: Sun, 11 Nov 2018 09:48:35 GMT
Content-Type: text/html; charset=UTF-8
Content-Length: 14
Connection: keep-alive
Last-Modified: Sun, 11 Nov 2018 07:28:05 GMT
X-Via: 172.20.120.255 主机ip地址，不推荐显示该选项
X-Cache: MISS 报告使用缓存状态，第一次访问没有缓存，因此状态为MISS
X-Accel: www.a.com 主机名
Accept-Ranges: bytes
2、add_trailer name value [always];
添加自定义响应信息的尾部
实验：同构模型基于nginx实现动静分离
同构模型：使用php模块方式实现，两个阶段使用协议一致
客户端到反向代理服务器为http协议
静态资源：反向代理服务器通过http协议把请求调度到后端apache服务器
动态资源：反向代理服务器通过http协议把请求调度到php服务器(php模块方式)
server {
listen 80 default_server;
listen 443 ssl;
server_name www.a.com;
root /data/website1;
error_log /var/log/nginx/a.com.error.log;
access_log /var/log/nginx/a.com.access.log main;
ssl_certificate /etc/nginx/conf.d/a.com.crt;
ssl_certificate_key /etc/nginx/conf.d/a.com.key;
location ~ \.php$ {
proxy_pass http://192.168.32.131;
#定义动态请求(即.php文件)调度到192.168.32.131，注意192.168.32.131后不能跟/
}
location / {
proxy_pass http://192.168.32.130/;
#定义其他文件全都调度到192.168.32.130
}
}
测试：
curl http://www.a.com/test.html
curl http://www.a.com/test.php
5、Nginx实现fastcgi反代代理
ngx_http_fastcgi_module
- ngx_http_fastcgi_module模块
转发请求到FastCGI服务器，不支持php模块方式
1、fastcgi_pass address;
address为后端的fastcgi server的地址
可用位置：location, if in location
2、fastcgi_index name;
fastcgi默认的主页资源
示例：fastcgi_index index.php;
3、fastcgi_param parameter value [if_not_empty];
设置传递给 FastCGI服务器的参数值，可以是文本，变量或组合
示例1：
1）在后端服务器先配置fpm server和mariadb-server
2）在前端nginx服务上做以下配置：
location ~* \.php$ {
fastcgi_pass 后端fpm服务器IP:9000;
fastcgi_index index.php;
fastcgi_param SCRIPT_FILENAME /app/php$fastcgi_script_name;
include fastcgi_params;
…
}
示例2：
通过/pm_status和/ping来获取fpm server状态信息
location ~* ^/(pm_status|ping)$ {
include fastcgi_params;
fastcgi_pass 后端fpm服务器IP:9000;
fastcgi_param SCRIPT_FILENAME $fastcgi_script_name;
}
实验：异构模型基于nginx实现动静分离
异构模型：使用php-fpm方式实现，两个阶段使用协议不一致
客户端到反向代理服务器为http协议
静态资源：反向代理服务器通过http协议把请求调度到后端apache服务器
动态资源：反向代理服务器通过fastcgi协议把请求调度到php服务器(php-fpm方式)
后端服务器RS2：php服务器设置
安装php-fpm
yum -y install php-fpm
设置php-fpm配置文件
vim /etc/php-fpm.d/www.conf
listen = 9000
;listen.allowed_clients = 127.0.0.1 使用;注释掉该行或者指定反向代理服务器的ip地址
pm.status_path = /status php服务器的状态页
ping.path = /ping 测试程序ping
ping.response = pong 测试响应程序pong
创建php主目录
mkdir /data/php -pv
设置php程序测试页
[root@rs2 ~]# vim /data/php/test.php
启动php-fpm服务
systemctl start php-fpm
后端服务器RS1：apache服务器设置
安装httpd
yum -y install httpd
设置测试页
echo RS1 test.html > /var/www/html/index.html
反向代理服务器：nginx反向代理服务器设置
vim /etc/nginx/conf.d/vhosts.conf
server {
listen 80 default_server;
listen 443 ssl;
server_name www.a.com;
root /data/website1;
error_log /var/log/nginx/a.com.error.log;
access_log /var/log/nginx/a.com.access.log main;
ssl_certificate /etc/nginx/conf.d/a.com.crt;
ssl_certificate_key /etc/nginx/conf.d/a.com.key;
location ~ \.php$ {
fastcgi_pass 192.168.32.131:9000; #指定后端fpm服务器的ip地址，动态资源请求调度到后端服务器192.168.32.131
fastcgi_index index.php;
fastcgi_param SCRIPT_FILENAME /data/website1$fastcgi_script_name; #告诉反向代理服务器fastcgi服务器的网页主目录路径
include fastcgi_params; #使用include调用参数
}
location / {
proxy_pass http://192.168.32.130/; #静态资源请求调度到后端服务器192.168.32.130
}
}
注意：使用动静分离的方式部署wordpress，当访问wordpress主站点时，会出现被拒绝的现象，
这是因为访问时需要写入：www.a.com/wordpress/index.php，而index.php会被浏览器自动去除，
这样就无法正常发送动态资源的请求，从而导致无法打开wordpress站点。
鉴于这种情况，推荐把php-fpm安装在nginx反向代理服务器上
配置文件：
listen 80 default_server;
listen 443 ssl;
server_name www.a.com;
root /data/website1; 静态资源调度到后端apache服务器上
location / {
index index.php
}
location ~ \.php$ {
fastcgi_pass 127.0.0.1:9000;
fastcgi_index index.php;
fastcgi_param SCRIPT_FILENAME /data/website1$fastcgi_script_name;
include fastcgi_params;
}
location ~* ^/(pm_status|ping)$ { 测试页和ping程序
include fastcgi_params;
fastcgi_pass 127.0.0.1:9000;
fastcgi_param SCRIPT_FILENAME $fastcgi_script_name;
}
要先设置访问权限：
cd /root/website1
setfacl -R -m u:nginx:rwx wordpress
setfacl -R -m u:apache:rwx wordpress
要特别注意wordpress文件的存放目录：
(1)在nginx反向代理服务器上，wordpress目录下的所有文件要存放在主目录下，即/data/website1/目录下，否则无法直接读取到index.php文件，无法进行调度
cp -ar /root/wordpress/* /data/website1/
(2)在后端apache服务器上，wordpress整个目录要存放在网站主目录之下(这里以默认主目录为例)，即/var/www/html/wordpress/
cp -ar /root/wordpress /var/www/html/
注意：当php-fpm和nginx服务器安装在同一台服务器上时，可以通过本机的socket文件进行通信，而无需通过端口号，类似于mysql基于socket文件通信
(1)需要更改php-fpm的配置文件中监听的ip：port模式为socket文件即可
(2)需要更改nginx配置文件中fastcgi_pass的监听的ip:port即127.0.0.1:9000为unix:/run/php-fcgi.sock
更改php-fpm配置文件：
vim /etc/php-fpm.d/www.conf
listen = /run/php-fcgi.sock
重启php-fpm服务，socket文件会自动生成
systemctl restart php-fpm
更改nginx配置文件：
vim /etc/nginx/conf.d/vhosts.conf
listen 80 default_server;
listen 443 ssl;
server_name www.a.com;
root /data/website1; 静态资源调度到后端apache服务器
location / {
index index.php 指定主页文件
}
location ~ \.php$ { 动态资源调度到fastcgi服务器，即本机
fastcgi_pass unix:/run/php-fcgi.sock; 只需把监听的ip：port更改为unix:/run/php-fcgi.sock即可
fastcgi_index index.php;
fastcgi_param SCRIPT_FILENAME /data/website1$fastcgi_script_name;
include fastcgi_params;
}
重新加载nginx服务
nginx -s reload
4、fastcgi_cache_path path [levels=levels] [use_temp_path=on|off] keys_zone=name:size [inactive=time] [max_size=size] [manager_files=number] [manager_sleep=time] [manager_threshold=time] [loader_files=number] [loader_sleep=time] [loader_threshold=time] [purger=on|off] [purger_files=number] [purger_sleep=time] [purger_threshold=time];
定义fastcgi的缓存；
path 缓存位置为磁盘上的文件系统
max_size=size
磁盘path路径中用于缓存数据的缓存空间上限
levels=levels：缓存目录的层级数量，以及每一级的目录数量
levels=ONE:TWO:THREE
示例：leves=1:2:2
keys_zone=name:size
k/v映射的内存空间的名称及大小
inactive=time
非活动时长
5、fastcgi_cache zone | off;
调用指定的缓存空间来缓存数据
可用位置：http, server, location
6、fastcgi_cache_key string;
定义用作缓存项的key的字符串
示例：fastcgi_cache_key $request_rui;
7、fastcgi_cache_methods GET | HEAD | POST …;
为哪些请求方法使用缓存
8、fastcgi_cache_min_uses number;
缓存空间中的缓存项在inactive定义的非活动时间内至少要被访问到此处所指定的次数方可被认作活动项
9、fastcgi_keep_conn on | off;
收到后端服务器响应后，fastcgi服务器是否关闭连接，建议启用长连接
10、fastcgi_cache_valid [code …] time;
不同的响应码各自的缓存时长
示例：使用fastcgi缓存
在主配置文件http语句块中定义缓存
http {
fastcgi_cache_path /var/cache/nginx/fcgi_cache levels=1:2:1 keys_zone=fcgicache:20m inactive=120s;
...
在主配置文件server语句块或子配置文件server或location语句块中调用缓存
server {
location ~* \.php$ {
...
fastcgi_cache fcgicache;
fastcgi_cache_key $request_uri;
fastcgi_cache_valid 200 302 10m;
fastcgi_cache_valid 301 1h;
fastcgi_cache_valid any 1m;
...
}
}
6、Nginx实现http负载均衡
ngx_http_upstream_module
- ngx_http_upstream_module模块
用于将多个服务器定义成服务器组，而由proxy_pass, fastcgi_pass等指令进行引用
1、upstream name { … }
定义后端服务器组，会引入一个新的上下文
默认调度算法是wrr
Context: http
upstream httpdsrvs {
server ...
server...
...
}
2、server address [parameters];
在upstream上下文中server成员，以及相关的参数；Context:upstream
address的表示格式：
unix:/PATH/TO/SOME_SOCK_FILE
IP[:PORT]
HOSTNAME[:PORT]
parameters：
weight=number 权重，默认为1
max_conns 连接后端报务器最大并发活动连接数，1.11.5后支持
max_fails=number 失败尝试最大次数；超出此处指定的次数时，server将被标记为不可用,默认为1
fail_timeout=time 后端服务器标记为不可用状态的连接超时时长，默认10s
backup 将服务器标记为“备用”，即所有服务器均不可用时才启用
down 标记为“不可用”，实现灰度发布
示例：
在主配置文件/etc/nginx/nginx.conf设置服务器组为httpserver
http {
upstream httpserver {
server 192.168.32.130; 指定后端服务器ip地址，如果不指定调度算法，默认为轮询
server 192.168.32.131;
}
...
}
在nginx子配置文件 etc/nginx/conf.d/vhosts.conf中location语句块调用httpserver服务器组
server {
listen 80 default_server;
listen 443 ssl;
server_name www.a.com;
root /data/website1;
error_log /var/log/nginx/a.com.error.log;
access_log /var/log/nginx/a.com.access.log main;
ssl_certificate /etc/nginx/conf.d/a.com.crt;
ssl_certificate_key /etc/nginx/conf.d/a.com.key;
location / {
proxy_pass http://httpserver; 调用httpserver服务器组
}
}
测试：
curl http://www.a.com
注意：如果调用缓存，可能会对测试产生影响，要关闭缓存功能
测试：nginx反向代理服务器是否有健康检查功能
关闭其中一个后端服务器的http服务，发现会自动停止对该服务器的调度，说明nginx反向代理服务器自动带有健康检测功能
但是，假设后端服务器全部出现故障，nginx并没有sorry server的功能，因此需要手动设置
vim /etc/nginx/nginx.conf
http {
upstream httpserver {
server 192.168.32.130;
server 192.168.32.131;
server 127.0.0.1:8080 backup; #backup将服务器标记为“备用”，即所有服务器均不可用时才启用
}
...
}
vim /etc/nginx/conf.d/vhosts.conf
server {
listen 8080;
root /data/website1;
}
注意:当设置备用服务器(sorry server)时，由于本地所有80端口的访问都会被调度到后端服务器，
因此设备备用服务器(sorry server)时，需要使用区别于80端口的其他端口才能够被调用
因此，主配置文件定义备用服务器时，使用8080端口：server 127.0.0.1:8080 backup;
在调用备用服务器时，在子配置文件中需要单独设置虚拟主机监听8080端口：listen 8080;
设置权重值weight=number
vim /etc/nginx/nginx.conf
http {
upstream httpserver {
server 192.168.32.130 weight=3;
server 192.168.32.131;
server 127.0.0.1:8080 backup;
}
}
3、ip_hash 源地址hash调度方法
第一次访问时是哪个后端服务器，后续所有访问都向该服务器调度
示例：
vim /etc/nginx/nginx.conf
http {
upstream httpserver {
ip_hash; 启用ip_hash调度算法
server 192.168.32.130 weight=3;
server 192.168.32.131 ;
#server 127.0.0.1:8080 backup;
}
}
注意：ip_hash调度算法与backup指令指定备用服务器是相互冲突的，
因此使用ip_hash调度算法时，在同一个语句块中不能使用backup指令
4、least_conn 最少连接调度算法，当server拥有不同的权重时其为wlc，当所有后端主机连接数相同时，则使用wrr，适用于长连接
示例：
vim /etc/nginx/nginx.conf
http {
upstream httpserver {
least_conn; 启用least_conn调度算法
server 192.168.32.130 weight=3;
server 192.168.32.131 ;
#server 127.0.0.1:8080 backup;
}
}
5、hash key [consistent] 基于指定的key的hash表来实现对请求的调度，此处的key可以直接文本、变量或二者组合
作用：将请求分类，同一类请求将发往同一个upstream server，使用consistent参数，将使用ketama一致性hash算法，适用于后端是Cache服务器（如varnish）时使用
hash $request_uri consistent;
根据请求报文中的uri进行hash运算，类似于绑定目标服务器，只要是访问固定的uri，都调度到固定的某个后端服务器
hash r e m o t e a d d r ; 根 据 远 程 客 户 端 地 址 进 行 h a s h 运 算 ， 类 似 于 绑 定 源 i p 地 址 ， 只 要 是 某 个 i p 地 址 的 访 问 请 求 ， 都 调 度 到 固 定 的 后 端 服 务 器 注 意 ： 这 两 者 的 区 别 ， remote_addr; 根据远程客户端地址进行hash运算，类似于绑定源ip地址，只要是某个ip地址的访问请求，都调度到固定的后端服务器 注意：这两者的区别， remoteaddr; 根据远程客户端地址进行hash运算，类似于绑定源ip地址，只要是某个ip地址的访问请求，都调度到固定的后端服务器 注意：这两者的区别，request_uri是针对后端服务器，$remote_addr是针对客户端源ip地址
示例1：hash $remote_addr;
vim /etc/nginx/nginx.conf
http {
upstream httpserver {
hash $remote_addr;
server 192.168.32.130 weight=3;
server 192.168.32.131 ;
#server 127.0.0.1:8080 backup;
}
}
示例2：hash $request_uri
vim /etc/nginx/nginx.conf
http {
upstream httpserver {
hash $request_uri; 或使用$uri变量均可
server 192.168.32.130 weight=3;
server 192.168.32.131 ;
#server 127.0.0.1:8080 backup;
}
}
注意：hash r e q u e s t u r i 算 法 存 在 以 下 问 题 ： 该 算 法 一 般 应 用 于 缓 存 服 务 器 ， 如 有 三 台 缓 存 服 务 器 ， 权 重 值 总 和 为 6 ， 各 服 务 器 权 重 值 的 比 为 1 ： 2 ： 3 ； 一 旦 缓 存 服 务 器 出 现 故 障 或 新 增 服 务 器 ， 权 重 值 会 发 生 变 化 ， 假 设 权 重 值 为 1 的 服 务 器 发 生 故 障 ， 那 么 权 重 值 总 和 为 5 ， 剩 余 两 台 缓 存 服 务 器 的 权 重 值 也 会 发 生 变 化 ， 这 就 造 成 反 向 代 理 服 务 器 调 度 的 目 标 服 务 器 发 生 变 化 ， 造 成 在 一 段 时 间 内 缓 存 数 据 无 法 使 用 ， 缓 存 数 据 的 失 效 造 成 用 户 的 请 求 会 直 达 后 端 服 务 器 ， 造 成 后 端 服 务 器 的 访 问 量 剧 增 ， 容 易 造 成 服 务 器 崩 溃 。 解 决 方 法 ： 一 致 性 h a s h 算 法 对 后 端 服 务 器 i p 地 址 进 行 h a s h 运 算 ， 把 h a s h 值 对 2 3 2 取 模 所 得 值 假 设 为 F 1 ， 其 范 围 为 0 到 ( 2 3 2 − 1 ) 对 请 求 报 文 中 的 request_uri算法存在以下问题： 该算法一般应用于缓存服务器，如有三台缓存服务器，权重值总和为6，各服务器权重值的比为1：2：3；一旦缓存服务器出现故障或新增服务器，权重值会发生变化，假设权重值为1的服务器发生故障，那么权重值总和为5，剩余两台缓存服务器的权重值也会发生变化，这就造成反向代理服务器调度的目标服务器发生变化，造成在一段时间内缓存数据无法使用，缓存数据的失效造成用户的请求会直达后端服务器，造成后端服务器的访问量剧增，容易造成服务器崩溃。 解决方法：一致性hash算法 对后端服务器ip地址进行hash运算，把hash值对2^32取模所得值假设为F1，其范围为0到(2^32-1) 对请求报文中的 requesturi算法存在以下问题： 该算法一般应用于缓存服务器，如有三台缓存服务器，权重值总和为6，各服务器权重值的比为1：2：3；一旦缓存服务器出现故障或新增服务器，权重值会发生变化，假设权重值为1的服务器发生故障，那么权重值总和为5，剩余两台缓存服务器的权重值也会发生变化，这就造成反向代理服务器调度的目标服务器发生变化，造成在一段时间内缓存数据无法使用，缓存数据的失效造成用户的请求会直达后端服务器，造成后端服务器的访问量剧增，容易造成服务器崩溃。解决方法：一致性hash算法对后端服务器ip地址进行hash运算，把hash值对232取模所得值假设为F1，其范围为0到(232−1)对请求报文中的request_uri进行hash运算，把hash值对232取模所得值假设为F2，其范围为0到(232-1)
把F1和F2分别在hash环上表示出来，按照顺时针方向，把hash环上离后端服务器的值F1近的uri调度给该服务器，由该服务器对该uri的请求提供服务
注意：2^32指的是服务器的总数量范围，该范围越大，取模得出的值就越不容易靠近，也就越安全
- 一致性hash算法
一致性hash算法缺点：
hash环的偏移：如果四台服务器所得值，在hash环上十分接近的话，那么大部分的请求访问量将会调度到第一台服务器，而其他三台服务器只承担剩余小部分的访问量，这样是十分不平衡的
解决方法：
把权重值变大，如1:2:3变为100:200:300，除此之外，对后端服务器的ip地址加上相对应权重值(如100)个随机数，然后再进行hash运算，这样一来，所得值数量增加，hash环偏移的可能性大大降低
具体实现：hash $request_uri consistent;
示例：
vim /etc/nginx/nginx.conf
http {
upstream httpserver {
hash $request_uri consistent;
server 192.168.32.130 weight=3;
server 192.168.32.131 ;
#server 127.0.0.1:8080 backup;
}
}
6、keepalive 连接数N;
为每个worker进程保留的空闲的长连接数量，可节约nginx端口，并减少连接管理的消耗
7、health_check [parameters];
健康状态检测机制；只能用于location上下文
常用参数：
interval=time检测的频率，默认为5秒
fails=number：判定服务器不可用的失败检测次数；默认为1次
passes=number：判定服务器可用的失败检测次数；默认为1次
uri=uri：做健康状态检测测试的目标uri；默认为/
match=NAME：健康状态检测的结果评估调用此处指定的match配置块
注意：仅对nginx plus有效
8、match name { … }
对backend server做健康状态检测时，定义其结果判断机制；只能用于http上下文
常用的参数：
status code[ code …]: 期望的响应状态码
header HEADER[operator value]：期望存在响应首部，也可对期望的响应首部的值基于比较操作符和值进行比较
body：期望响应报文的主体部分应该有的内容
注意：仅对nginx plus有效
7、Nginx实现tcp反向代理
ngx_stream_core_module
- nginx的其它的二次发行版：
Tengine：由淘宝网发起的Web服务器项目。它在Nginx的基础上，针对大访问量网站的需求，添加了很多高级功能和特性。Tengine的性能和稳定性已经在大型的网站如淘宝网，天猫商城等得到了很好的检验。它的最终目标是打造一个高效、稳定、安全、易用的Web平台。从2011年12月开始，Tengine成为一个开源项目，官网 http://tengine.taobao.org/
OpenResty：基于 Nginx 与 Lua 语言的高性能 Web 平台 - ngx_stream_core_module模块
模拟反代基于tcp或udp的服务连接，即工作于传输层的反代或调度器
1、stream { … }
定义stream相关的服务；Context:main
stream {
upstream mysqlsrvs {
server 192.168.22.2:3306;
server 192.168.22.3:3306;
least_conn;
}
server {
listen 10.1.0.6:3306;
proxy_pass mysqlsrvs;
}
}
2、listen
listen address:port [ssl] [udp] [proxy_protocol] [backlog=number] [bind] [ipv6only=on|off]
[reuseport] [so_keepalive=on|off|[keepidle]:[keepintvl]:[keepcnt]];
ngx_stream_proxy_module
- ngx_stream_proxy_module模块
可实现代理基于TCP，UDP (1.9.13), UNIX-domain sockets的数据流
实现四层代理，调度到固定的后端服务器
1、proxy_pass address;
指定后端服务器地址
2、proxy_timeout timeout;
无数据传输时，保持连接状态的超时时长
默认为10m
3、proxy_connect_timeout time;
设置nginx与被代理的服务器尝试建立连接的超时时长
默认为60s
示例：
stream {
upstream mysqlsrvs {
server 192.168.0.10:3306;
server 192.168.0.11:3306;
hash $remote_addr consistent;
}
server {
listen 172.16.100.100:3306;
proxy_pass mysqlsrvs;
proxy_timeout 60s;
proxy_connect_timeout 10s;
}
}
实现Nginx高并发Linux内核优化
- 由于默认的Linux内核参数考虑的是最通用场景，这明显不符合用于支持高并发访问的Web服务器的定义，所以需要修改Linux内核参数，是的Nginx可以拥有更高的性能,根据业务特点来进行调整，当Nginx作为静态web内容服务器、反向代理或者提供压缩服务器的服务器时，期内核参数的调整都是不同的，这里针对最通用的、使Nginx支持更多并发请求的TCP网络参数做简单的配置,修改/etc/sysctl.conf来更改内核参数
- fs.file-max = 999999
表示单个进程较大可以打开的句柄数 - net.ipv4.tcp_tw_reuse = 1
参数设置为 1 ，表示允许将TIME_WAIT状态的socket重新用于新的TCP链接，这对于服务器来说意义重大，因为总有大量TIME_WAIT状态的链接存在 - net.ipv4.tcp_keepalive_time = 600
当keepalive启动时，TCP发送keepalive消息的频度；默认是2小时，将其设置为10分钟，可更快的清理无效链接 - net.ipv4.tcp_fin_timeout = 30
当服务器主动关闭链接时，socket保持在FIN_WAIT_2状态的较大时间 - net.ipv4.tcp_max_tw_buckets = 5000
这个参数表示操作系统允许TIME_WAIT套接字数量的较大值，如果超过这个数字，TIME_WAIT套接字将立刻被清除并打印警告信息,默认为8000，过多的TIME_WAIT套接字会使Web服务器变慢 - net.ipv4.ip_local_port_range = 1024 65000
定义UDP和TCP链接的本地端口的取值范围 - net.ipv4.tcp_rmem = 10240 87380 12582912
定义了TCP接受缓存的最小值、默认值、较大值 - net.ipv4.tcp_wmem = 10240 87380 12582912
定义TCP发送缓存的最小值、默认值、较大值 - net.core.netdev_max_backlog = 8096
当网卡接收数据包的速度大于内核处理速度时，会有一个列队保存这些数据包。这个参数表示该列队的较大值 - net.core.rmem_default = 6291456
表示内核套接字接受缓存区默认大小 - net.core.wmem_default = 6291456
表示内核套接字发送缓存区默认大小 - net.core.rmem_max = 12582912
表示内核套接字接受缓存区较大大小 - net.core.wmem_max = 12582912
表示内核套接字发送缓存区较大大小
注意：以上的四个参数，需要根据业务逻辑和实际的硬件成本来综合考虑 - net.ipv4.tcp_syncookies = 1
与性能无关。用于解决TCP的SYN攻击 - net.ipv4.tcp_max_syn_backlog = 8192
这个参数表示TCP三次握手建立阶段接受SYN请求列队的较大长度，默认1024，将其设置的大一些可使出现Nginx繁忙来不及accept新连接时，Linux不至于丢失客户端发起的链接请求 - net.ipv4.tcp_tw_recycle = 1
这个参数用于设置启用timewait快速回收 - net.core.somaxconn=262114
选项默认值是128，这个参数用于调节系统同时发起的TCP连接数，在高并发的请求中，默认的值可能会导致链接超时或者重传，因此需要结合高并发请求数来调节此值。 - net.ipv4.tcp_max_orphans=262114
选项用于设定系统中最多有多少个TCP套接字不被关联到任何一个用户文件句柄上。如果超过这个数字，孤立链接将立即被复位并输出警告信息。这个限制指示为了防止简单的DOS攻击，不用过分依靠这个限制甚至认为的减小这个值，更多的情况是增加这个值