Nginx反向代理与负载均衡应用实践

Nginx反向代理与负载均衡应用实践

课堂笔记

---

 

一、原理

 

1.1 为什么要使用集群

（1）高性能

一些国家重要的计算密集型应用（如天气预报，核试验模拟等），需要计算机有很强的运算处理能力。以全世界现有的技术，即使是大型机，其计算能力也是有限的，很难单独完成此任务。因为计算时间可能会相当长，也许几天，甚至几年或更久。因此，对于这类复杂的计算业务，便使用了计算机集群技术，集中几十上百台，甚至成千上万台计算机进行计算。

假如你配一个LNMP环境，每次只需要服务10个并发请求，那么单台服务器一定会比多个服务器集群要快。只有当并发或总请求数量超过单台服务器的承受能力时，服务器集群才会体现出优势。

（2）价格有效性

通常一套系统集群架构，只需要几台或数十台服务器主机即可。与动辄价值上百万元的专用超级计算机相比便宜了很多。在达到同样性能需求的条件下，采用计算机集群架构比采用同等运算能力的大型计算机具有更高的性价比。 
早期的淘宝，支付宝的数据库等核心系统就是使用上百万元的小型机服务器。后因使用维护成本太高以及扩展设备费用成几何级数翻倍，甚至成为扩展瓶颈，人员维护也十分困难，最终使用PC服务器集群替换之，比如，把数据库系统从小机结合Oracle数据库迁移到MySQL开源数据库结合PC服务器上来。不但成本下降了，扩展和维护也更容易了。 
（3）可伸缩性

当服务负载，压力增长时，针对集群系统进行较简单的扩展即可满足需求，且不会降低服务质量。

通常情况下，硬件设备若想扩展性能，不得不增加新的CPU和存储器设备，如果加不上去了，就不得不够买更高性能的服务器，就拿我们现在的服务器来讲，可以增加的设备总是有限的。如果采用集群技术，则只需要将新的单个服务器加入现有集群架构中即可，从访问的客户角度来看，系统服务无论是连续性还是性能上都几乎没有变化，系统在不知不觉中完成了升级，加大了访问能力，轻松地实现了扩展。集群系统中的节点数目可以增长到几千乃至上万个，其伸缩性远超过单台超级计算机。

（4）高可用性

单一的计算机系统总会面临设备损毁的问题，如CPU，内存，主板，电源，硬盘等，只要一个部件坏掉，这个计算机系统就可能会宕机，无法正常提供服务。在集群系统中，尽管部分硬件和软件也还是会发生故障，但整个系统的服务可以是7*24小时可用的。 
集群架构技术可以使得系统在若干硬件设备故障发生时仍可以继续工作，这样就将系统的停机时间减少到了最小。集群系统在提高系统可靠性的同时，也大大减小了系统故障带来的业务损失，目前几乎100%的互联网网站都要求7*24小时提供服务。 
（5）透明性

多个独立计算机组成的松耦合集群系统构成一个虚拟服务器。用户或客户端程序访问集群系统时，就像访问一台高性能，高可用的服务器一样，集群中一部分服务器的上线，下线不会中断整个系统服务，这对用户也是透明的。

（6）可管理性

整个系统可能在物理上很大，但其实容易管理，就像管理一个单一映像系统一样。在理想状况下，软硬件模块的插入能做到即插即用。

（7）可编程性

在集群系统上，容易开发及修改各类应用程序。

 

1.2、集群的常见分类

计算机集群架构按功能和结构可以分成以下几类： 
1、负载均衡集群，简称LBC或者LB 
2、高可用性集群，简称HAC 
3、高性能计算集群，简称HPC 
4、网格计算集群 
5、负载均衡集群和高可用性集群是互联网行业常用的集群架构模式

 

1.3、不同种类的集群介绍

1、负载均衡集群

负载均衡集群为企业提供了更为实用，性价比更高的系统架构解决方案。负载均衡集群可以把很多客户集中的访问请求负载压力尽可能平均地分摊在计算机集群中处理。客户访问请求负载通常包括应用程序处理负载和网络流量负载。这样的系统非常适合使用同一组应用程序为大量用户提供服务的模式，每个节点都可以承担一定的访问请求负载压力，并且可以实现访问请求在各节点之间动态分配，以实现负载均衡。 
负载均衡集群运行时，一般是通过一个或多个前端负载均衡器将客户访问请求分发到后端的一组服务器上，从而达到整个系统的高性能和高可用性。一般高可用性集群和负载均衡集群会使用类似的技术，或同时具有高可用性与负载均衡的特点。

（1）负载均衡集群的作用为：

分摊用户访问请求及数据流量（负载均衡） 
保持业务连续性，即7*24小时服务（高可用性） 
应用于Web业务及数据库从库等服务器的业务

负载均衡集群典型的开源软件包括LVS，Nginx，Haproxy等。如下图所示： 

2、高可用性集群

一般是指在集群中任意一个节点失效的情况下，该节点上的所有任务会自动转移到其他正常的节点上。此过程并不影响整个集群的运行。 
当集群中的一个节点系统发生故障时，运行着的集群服务会迅速作出反应，将该系统的服务分配到集群中其他正在工作的系统上运行。考虑到计算机硬件和软件的容错性，高可用性集群的主要目的是使集群的整体服务尽可能可用。如果高可用性集群中的主节点发生了故障，那么这段时间内将由备节点代替它。备节点通常是主节点的镜像。当它代替主节点时，它可以完全接管主节点（包括IP地址及其他资源）提供服务，因此，使集群系统环境对于用户来说是一致的，既不会影响用户的访问。 
高可用性集群使服务器系统的运行速度和响应速度会尽可能的快。他们经常利用在多台机器上运行的冗余节点和服务来相互跟踪。如果某个节点失败，它的替补者将在几秒钟或更短时间内接管它的职责。因此，对于用户而言，集群里的任意一台机器宕机，业务都不会受影响（理论情况下）。

高可用性集群的作用为： 
当一台机器宕机时，另外一台机器接管宕机的机器的IP资源和服务资源，提供服务。 
常用于不易实现负载均衡的应用，比如负载均衡器，主数据库，主存储对之间。 
高可用性集群常用的开源软件包括Keepalived，Heartbeat等，其架构图如下图所示： 

3、高性能计算集群

高性能计算集群也称并行计算。通常，高性能计算集群涉及为集群开发的并行应用程序，以解决复杂的科学问题（天气预报，石油勘探，核反应模拟等）。高性能计算集群对外就好像一个超级计算机，这种超级计算机内部由数十至上万个独立服务器组成，并且在公共消息传递层上进行通信以运行并行应用程序。在生产环境中实际就是把任务切成蛋糕，然后下发到集群节点计算，计算后返回结果，然后继续领新任务计算，如此往复。

在互联网网站运维中，比较常用的就是负载均衡集群和高可用性集群

 

1.4、LVS介绍

LVS是Linux Virtual Server的简写，意即Linux虚拟服务器，是一个虚拟的服务器集群系统。 
特点是：可伸缩网络服务的几种结构，它们都需要一个前端的负载调度器(或者多个进行主从备份)。我们先分析实现虚拟网络服务的主要技术，指出IP负载均衡技术是在负载调度器的实现技术中效率最高的。在已有的IP负载均衡技术中，主要有通过网络地址转换(Network Address Translation)将一组服务器构成一个高性能的、高可用的虚拟服务器，我们称之为VS/NAT技术(Virtual Server via Network Address Translation)。在分析VS/NAT的缺点和网络服务的非对称性的基础上，我们提出了通过IP隧道实现虚拟服务器的方法VS/TUN (Virtual Server via IP Tunneling)，和通过直接路由实现虚拟服务器的方法VS/DR(Virtual Server via Direct Routing)，它们可以极大地提高系统的伸缩性。VS/NAT、VS/TUN和VS/DR技术是LVS集群中实现的三种IP负载均衡技术。

lvs是四层负载均衡，因为他工作在四层网络模型上，即为传输层。他不会执行tcp三次握手，他是通过转发用户请求来实现负载均衡，转发到后方的web服务器，用户是跟后面的web服务器执行的tcp三次握手。他支持极大的并发，效率及其高。数据统计基本可以实现30万并发。即为4层转发。

 

1.5、Nginx负载均衡集群介绍

1、搭建负载均衡服务的需求 
负载均衡集群提供了一种廉价，有效，透明的方法，来扩展网络设备和服务器的负载，带宽和吞吐量，同时加强了网络数据处理能力，提高了网络的灵活性和可用性。

搭建负载均衡服务的需求如下：

（1）把单台计算机无法承受的大规模并发访问或数据流量分担到多台节点设备上，分别进行处理，减少用户等待响应的时间，提升用户体验。 
（2）单个重负载的运算分担到多台节点设备上做并行处理，每个节点设备处理结束后，将结果汇总，返回给用户，系统处理能力得到大幅度提高。 
（3）7*24小时的服务保证，任意一个或多个有限后面节点设备宕机，不能影响业务。

在负载均衡集群中，同组集群的所有计算机节点都应该提供相同的服务。集群负载均衡器会截获所有对该服务的入站请求。然后将这些请求尽可能地平均地分配在所有集群节点上。

2 、Nginx负载均衡集群介绍

（1）反向代理与负载均衡概念简介

严格地说，Nginx仅仅是作为Nginx Proxy反向代理使用的，因为这个反向代理功能表现的效果是负载均衡集群的效果，所以本文称之为Nginx负载均衡。那么，反向代理和负载均衡有什么区别呢？ 
普通负载均衡软件，例如大名鼎鼎的LVS，其实功能只是对请求数据包的转发（也可能会改写数据包），传递，其中DR模式明显的特征是从负载均衡下面的节点服务器来看，接收到的请求还是来自访问负载均衡器的客户端的真实用户，而反向代理就不一样了，反向代理接收访问用户的请求后，会代理用户重新发起请求代理下的节点服务器，最后把数据返回给客户端用户，在节点服务器看来，访问的节点服务器的客户端用户就是反向代理服务器了，而非真实的网站访问用户。 
一句话，LVS等的负载均衡是转发用户请求的数据包，而Nginx反向代理是接收用户的请求然后重新发起请求去请求其后面的节点。

Nginx是七层（反向代理）负载均衡器，他工作在第七层，即应用层。他发出去的包已经不是用户的包了，用户请求直接和反向代理执行的tcp3次握手。即为7层代理

（2）实现Nginx负载均衡的组件说明

实现Nginx负载均衡的组件主要有两个，如下表： 

 

二、快速实践Nginx负载均衡环境准备

上图中，所有用户的请求统一发送到Nginx负载均衡器，然后由负载均衡器根据调度算法来请求Web01和Web02

1、软硬件准备 
三台虚拟机，两台做web，一台做nginx，三台虚拟机都需要安装nginx

2、安装Nginx软件,命令如下

 

1. yum install -y pcre-devel openssl-devel #用本地yum仓库安装依赖包
2. wget -q http://nginx.org/download/nginx-1.10.2.tar.gz #下载软件源码包
3. useradd -s /sbin/nologin -M www #创建程序用户
4. tar xf nginx-1.10.2.tar.gz -C /usr/src/ #解压缩
5. cd /usr/src/nginx-1.10.2
6. ./configure --user=www --group=www --prefix=/usr/local/nginx --with-http_stub_status_module --with-http_ssl_module #预配置
7. make && make install #编译和安装
8. ln -s /usr/local/nginx/sbin/* /usr/local/sbin/ #给命令做软连接，以便PATH能找到
9. /usr/local/nginx/sbin/nginx #启动nginx

加工Nginx配置文件

 

1. cd /usr/local/nginx/conf
2. egrep -v "#|^$" nginx.conf.default > nginx.conf
3. /usr/local/nginx/sbin/nginx -s reload #平滑重启
4. 以上Nginx就安装完成了。

3、配置用于测试的Web服务

 

1. [root@Web conf]# cat nginx.conf
3. worker_processes 1;
4. events {
5. worker_connections 1024;
6. }
7. http {
8. include mime.types;
9. default_type application/octet-stream;
10. sendfile on;
11. keepalive_timeout 65;
12. log_format main '$remote_addr-$remote_user[$time_local]"$request"'
13. '$status $body_bytes_sent "$http_referer"'
14. '"$http_user_agent""$http_x_forwarded_for"'; #日志格式化
15. server {
16. listen 80;
17. server_name bbs.mendermi.com;
18. location / {
19. root html/bbs;
20. index index.html index.htm;
21. }
22. access_log logs/access_bbs.log main; #应用格式化
23. }
24. server {
25. listen 80;
26. server_name www.mendermi.com;
27. location / {
28. root html/www;
29. index index.html index.htm;
30. }
31. access_log logs/access_www.log main;
32. }
33. }
34. #提示：
35. 这里故意将www虚拟主机放在下面，便于用后面的参数配置测试效果
36. 配置文件在Web1里也写一份

配置完成后检查语法，并启动Nginx服务

 

1. [root@Web conf]# nginx -t
2. [root@Web conf]# /usr/local/nginx/sbin/nginx -s reload
3. [root@Web conf]# netstat -antup | grep nginx
4. tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN 6760/nginx

然后填充测试文件数据，如下：

 

1. [root@Web ~]# mkdir /usr/local/nginx/html/{ www,bbs}
2. [root@Web ~]# echo "`hostname -I `www" >> /usr/local/nginx/html/www/index.html
3. [root@Web ~]# cat /usr/local/nginx/html/www/index.html
4. 192.168.200.139 www
5. [root@Web~]# echo "`hostname -I `bbs" >> /usr/local/nginx/html/bbs/index.html
6. [root@Web ~]# cat /usr/local/nginx/html/bbs/index.html
7. 192.168.200.139 bbs
8. 以上同样的命令在Web1上也执行一遍

配置解析Web和Web1的IP和主机名后，用curl测试一下

 

三、实现一个简单的负载均衡

本服务在nginx服务器操作

1、配置负载均衡，代理www.mendermi.com服务

 

1. vim /usr/local/nginx/conf/nginx.conf
2. worker_processes 1;
3. events {
4. worker_connections 1024;
5. }
6. http {
7. include mime.types;
8. default_type application/octet-stream;
9. sendfile on;
10. keepalive_timeout 65;
11. upstream www_server_pools {
13. server 192.168.200.135:80 weight=1;
15. server 192.168.200.137:80 weight=1;
16. }
18. server {
19. listen 80;
20. server_name www.mendermi.com;
21. location / {
22. proxy_pass http://www_server_pools;
24. }
25. }
26. }

检查语法并启动

检查负载均衡测试结果。Linux作为客户端的测试结果如下 

从上面的测试结果可以看出来。两个Web节点按照1：1的比例被访问。 下面宕掉任意一个Web节点，看看测试结果如何，测试如下：

例，关闭Web的nginx服务 
测试结果： 
 
上图可以看到，网站业务不受影响，访问请求都定位到了正常的节点上。

例关闭所有Web的nginx服务 
测试结果： 
 
上图可以看到，Nginx代理下面没有节点了，因此，Nginx向用户报告了502错误。

开启所有Web服务器的nginx服务 
测试结果： 
 
结果是Nginx又把请求一比一分配到了Nginx后面的节点上。

 

四、Nginx负载均衡核心组件介绍

 

一、Nginx upstream模块

1 、upstream模块介绍 
Nginx的负载均衡功能依赖于ngx_http_upsteam_module模块，所支持的代理方式包括proxy_pass,fastcgi_pass,memcached_pass等,新版Nginx软件支持的方式有所增加。我们实验proxy_pass代理方式。 
ngx_http_upstream_module模块允许Nginx定义一组或多组节点服务器组，使用时可以通过proxy_pass代理方式把网站的请求发送到事先定义好的对应Upstream组的名字上，具体写法为“proxy_pass http:// www_server_pools”,其中www_server_pools就是一个Upstream节点服务器组名字。ngx_http_upstream_module模块官方地址为：http://nginx.org/en/docs/http/ngx_http_upstream_module.html

2、upstream模块相关说明 
upstream模块的内容应放于nginx.conf配置的http{}标签内，其默认调度节点算法是wrr(weighted round-robin，即权重轮询)。下图为upstream模块内部server标签部分参数说明

上述命令的说明如下：

weight:调节服务器的请求分配权重。 check：开启对该服务器健康检查。 
inter：设置连续两次的健康检查间隔时间，单位毫秒，默认值2000 
rise：指定多少次连续成功的健康检查后，即可认定该服务器处于可用状态。 
fall:指定多少次不成功的健康检查后，即认为服务器为宕机状态，默认值3. maxconn：指定可被发送到该服务器的最大并发连接数。

3、upstream模块调度算法 
调度算法一般分为两类： 
第一类为静态调度算法，即负载均衡器根据自身设定的规则进行分配，不需要考虑后端节点服务器的情况，例如：rr,wrr,ip_hash等都属于静态调度算法。 
第二类为动态调度算法，即负载均衡器会根据后端节点的当前状态来决定是否分发请求，例如：连接数少的优先获得请求，响应时间短的优先获得请求。例如：least_conn,fair等都属于动态调度算法。

下面介绍一下常见的调度算法。

（1） rr轮询（默认调度算法，静态调度算法）

按客户端请求顺序把客户端的请求逐一分配到不同的后端节点服务器，这相当于LVS中的rr算法，如果后端节点服务器宕机（默认情况下Nginx只检测80端口），宕机的服务器会被自动从节点服务器池中剔除，以使客户端的用户访问不受影响。新的请求会分配给正常的服务器。

（2）wrr（权重轮询，静态调度算法）

在rr轮询算法的基础上加上权重，即为权重轮询算法，当使用该算法时，权重和用户访问成正比，权重值越大，被转发的请求也就越多。可以根据服务器的配置和性能指定权重值大小，有效解决新旧服务器性能不均带来的请求分配问题。

（3）ip_hash（静态调度算法）（会话保持）

每个请求按客户端IP的hash结果分配，当新的请求到达时，先将其客户端IP通过哈希算法哈希出一个值，在随后的客户端请求中，客户IP的哈希值只要相同，就会被分配至同一台服务器，该调度算法可以解决动态网页的session共享问题，但有时会导致请求分配不均，即无法保证1：1的负载均衡，因为在国内大多数公司都是NAT上网模式，多个客户端会对应一个外部IP，所以，这些客户端都会被分配到同一节点服务器，从而导致请求分配不均。LVS负载均衡的-p参数，Keepalived配置里的persistence_timeout 50参数都类似这个Nginx里的ip_hash参数，其功能都可以解决动态网页的session共享问题。 
解决会话保持，1、ip hash 2、session共享 3、cookie

注意： 
当负载调度算法为ip_hash时，后端服务器在负载均衡调度中的状态不能有weight和backup，即使有也不会生效。

（4）fair（动态调度算法）

此算法会根据后端节点服务器的响应时间来分配请求，响应时间短的优先分配。这是更加智能的调度算法。此种算法可以根据页面大小和加载时间长短智能地进行负载均衡，也就是根据后端服务器的响应时间来分配请求，响应时间短的优先分配。Nginx本身不支持fair调度算法，如果需要使用这种调度算法，必须下载Nginx相关模块upstream_fair。

示例如下： 

（5）least_conn

least_conn算法会根据后端节点的连接数来决定分配情况，哪个机器连接数少就分发。 
除了上面介绍的这些算法外，还有一些第三方调度算法，例如：url_hash,一致性hash算法等，介绍如下。

（6）url_hash算法(web缓存节点)

与ip_hash类似，这里是根据访问URL的hash结果来分配请求的，让每个URL定向到同一个后端服务器，后端服务器为缓存服务器时效果显著。在upstream中加入hash语句，server语句中不能写入weight等其他的参数，hash_method使用的是hash算法。 
url_hash按访问URL的hash结果来分配请求，使每个URL定向到同一个后端服务器，可以进一步提高后端缓存服务器的效率命令率。Nginx本身是不支持url_hash的，如果需要使用这种调度算法，必须安装Nginx的hash模块软件包。

url_hash(web缓存节点)和ip_hash（会话保持）类似。示例配置如下： 

（7）一致性hash算法

一致性hash算法一般用于代理后端业务为缓存服务（如Squid，Memcached）的场景，通过将用户请求的URI或者指定字符串进行计算，然后调度到后端的服务器上，此后任何用户查找同一个URI或者指定字符串都会被调度到这一台服务器上，因此后端的每个节点缓存的内容都是不同的，一致性hash算法可以解决后端某个或几个节点宕机后，缓存的数据动荡最小，一致性hash算法知识比较复杂，详细内容可以参考百度上的相关资料，这里仅仅给出配置示

例： 

虽然Nginx本身不支持一致性hash算法，但Nginx得分支Tengine支持。详细可参考 
http://tengine.taobao.org/document_cn/http_upstream_consistent_hash_cn.html

 

二、 http_proxy_module模块

1、 proxy_pass指令介绍

proxy_pass指令属于ngx_http_proxy_module模块，此模块可以将请求转发到另一台服务器，在实际的反向代理工作中，会通过location功能匹配指定的URI，然后把接收到的符合匹配URI的请求通过proxy_pass抛给定义好的upstream节点池。该指令官方地址1见：http://nginx.org/en/docs/http/ngx_http_proxy_module.html#proxy_pass

2、http proxy模块参数 
Nginx的代理功能是通过http proxy模块来实现的。默认在安装Nginx时已经安装了http proxy模块，因此可直接使用http proxy模块。下面详细解释模块1中每个选项代表的含义，见下表：

 

五、Nginx负载均衡配置实战

 

一、Nginx负载均衡配置

1. 查看nginx的配置文件如下：

   1. [root@nginx nginx]# cat /usr/local/nginx/conf/nginx.conf
   2. worker_processes 1;
   3. events {
   4. worker_connections 1024;
   5. }
   6. http {
   7. include mime.types;
   8. default_type application/octet-stream;
   9. sendfile on;
   10. keepalive_timeout 65;
   11. upstream www_server_pools {
   13. server 192.168.200.135:80 weight=1;
   15. server 192.168.200.137:80 weight=1;
   16. }
   18. server {
   19. listen 80;
   20. server_name www.mendermi.com;
   21. location / {
   22. proxy_pass http://www_server_pools;
   24. }
   25. }
   26. }

   

在代理服务器nginx上进行测试： 

从测试结果可以看出，已经实现了反向代理，负载均衡功能，但是有一个特殊问题，出来的结果并不是带有www的字符串，而是bbs的字符串，根据访问结果，我们推测是访问了Web节点下bbs的虚拟主机，明明代理的是www虚拟主机，为什么结果是访问了后端的bbs虚拟主机了呢？问题又该如何解决？请同学们继续往下看。

2、反向代理多虚拟主机节点服务器企业案例

上一节代理的结果不对，究其原因是当用户访问域名时确实是携带了www.yunjisuan.com主机头请求Nginx反向代理服务器，但是反向代理向下面节点重新发起请求时，默认并没有在请求头里告诉节点服务器要找哪台虚拟主机，所以，Web节点服务器接收到请求后发现没有主机头信息，因此，就把节点服务器的第一个虚拟主机发给了反向代理了（节点上第一个虚拟主机放置的是故意这样放置的bbs）。解决这个问题的方法，就是当反向代理向后重新发起请求时，要携带主机头信息，以明确告诉节点服务器要找哪个虚拟主机。具体的配置很简单，就是在Nginx代理www服务虚拟主机配置里增加如下一行配置即可：

proxy_set_header host $host;

在代理向后端服务器发送的http请求头中加入host字段信息后，若后端服务器配置有多个虚拟主机，它就可以识别代理的是哪个虚拟主机。这是节点服务器多虚拟主机时的关键配置。整个Nginx代理配置为：

 

1. [root@nginx nginx]# cat /usr/local/nginx/conf/nginx.conf
2. worker_processes 1;
3. events {
4. worker_connections 1024;
5. }
6. http {
7. include mime.types;
8. default_type application/octet-stream;
9. sendfile on;
10. keepalive_timeout 65;
11. upstream www_server_pools {
13. server 192.168.200.135:80 weight=1;
15. server 192.168.200.137:80 weight=1;
16. }
18. server {
19. listen 80;
20. server_name www.mendermi.com;
21. location / {
22. proxy_pass http://www_server_pools;
23. proxy_set_header host $host;
25. }
26. }
27. }

在代理服务器nginx上进行测试：

上图可以看到这次访问的结果和访问的域名就完全对应上了，这样代理多虚拟主机的节点服务器就不会出问题了

3、经过反向代理后的节点服务器记录用户IP企业案例

完成了反向代理WWW服务后，节点服务器对应的WWW虚拟主机的访问日志的第一个字段记录的并不是客户端的IP，而是反向代理服务器的IP，最后一个字段也是“-”！

例如：使用任意windows客户端计算机，访问已经解析好代理IP的www.yunjisuan.com后，去节点服务器www服务日志查看，就会发现如下日志：

 

1. [root@Web1 logs]# cat access_www.log
2. 192.168.200.139--[11/Nov/2018:21:26:01 +0800]"GET / HTTP/1.0"200 20 "-""Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko""-"

Web1节点服务器对应的WWW虚拟主机的访问日志的第一个字段记录的并不是客户端的IP而是反向代理服务器本身的IP（192.168.0.221），最后一个字段也是一个“-”，那么如何解决这个问题？其实很简单，同样是增加如下一行参数：

 

1. proxy_set_header X-Forwarded-For $remote_addr;
2. #这是反向代理时，节点服务器获取用户真实IP的必要功能配置

在反向代理请求后端节点服务器的请求头中增加获取的客户端IP的字段信息，然后节点后端可以通过程序或者相关的配置接收X-Forwarded-For传过来的用户真实IP的信息。

重新加载Nginx反向代理服务：[root@nginx nginx]# nginx -s reload 

测试检查 
 

去节点服务器WWW服务的访问日志里查看，会发现日志的结尾已经变化了： 

此时尾部信息由于我们虚拟机是NAT模式，所以显示的是NAT的网关。

其中，日志里的192.168.200.139为反向代理的IP，对应Nginx日志格式里的变量，而日志结尾的对应的时日志格式里的http_x_forwarded_for”变量，即接收了前面反向代理配置中“proxy_set_header 
X-Forwarded-For $remote_addr;”参数X-Forwarded-For的IP了。 
关于X-Forwarded-For的详细说明，可见http://en.wikipedia.org/wiki/X-Forwwawrded-For。下图是反向代理相关重要基础参数的总结，供参考。

 

二、与反向代理配置相关的更多参数说明

除了具有多虚拟主机代理以及节点服务器记录真实用户IP的功能外，Nginx软件还提供了相当多的作为反向代理和后端节点服务器对话的相关控制参数，具体见前面proxy模块时提供的图表。

1、由于参数众多，最好把这些参数放到一个配置文件里，然后用include方式包含到虚拟主机配置里，效果如下： 

 

六、根据URL中的目录地址实现代理转发

1、例：通过Nginx实现动静分离，即通过Nginx反向代理配置规则实现让动态资源和静态资源及其他业务分别由不同的服务器解析，以解决网站性能，安全，用户体验等重要问题。

下图为企业常见的动静分离集群架构图，此架构图适合网站前端只使用同一个域名提供服务的场景，例如，用户访问的域名是www.mendermi.com，然后，当用户请求www.mendermi.com/upload/xx地址时候，代理会分配请求到上传服务器池处理数据；当用户请求www.mendermi.com/static/xx地址的时候，代理会分配请求到静态服务器池请求数据；当用户请求www.mendermi.com/xx地址的时候，即不包含上述指定的目录地址路径时，代理会分配请求到默认的动态服务器池请求数据（注意：上面的xx表示任意路径）。

2、准备：配置实战

需求梳理： 
- 当用户请求www.mendermi.com/upload/xx地址时，实现由upload上传服务器池处理请求。 
- 当用户请求www.mendermi.com/static/xx地址时，实现由静态服务器池处理请求。 
- 除此以外，对于其他访问请求，全都由默认的动态服务器池处理请求。

了解了需求后，就可以进行upstream模块服务器池的配置了。

 

1. #static_pools为静态服务器池，有一个服务器，地址为192.168.200.135，端口为80.
2. upstream static_pools {
3. server 192.168.200.135:80 weght=1;
4. }
5. #upload_pools为上传服务器池，有一个服务器地址为192.168.200.137，端口为80.
6. upstream upload_pools {
7. server 192.168.200.137:80 weight=1;
8. }
9. #default_pools为默认的服务器池，即动态服务器池，有一个服务器，地址为192.168.200.128，端口为80.
10. upstream default_pools {
11. server 192.168.200.128:80 weight=1;
12. }
13. #提示：需要增加一台测试Web节点Web03（ip:192.168.200.128）,配置与Web01，Web02一样。

下面利用location或if语句把不同的URI（路径）请求，分给不同的服务器池处理，具体配置如下。 
方案1：以location方案实现

 

1. #将符合static的请求交给静态服务器池static_pools，配置如下：
2. location /static/ {
3. proxy_pass http://static_pools;
4. include proxy.conf;
5. }
6. #将符合upload的请求交给上传服务器池upload_pools,配置如下：
7. location /upload/ {
8. proxy_pass http://upload_pools;
9. include proxy.conf;
10. }
11. #不符合上述规则的请求，默认全部交给动态服务器池default_pools,配置如下：
12. location / {
13. proxy_pass http://default_pools;
14. include proxy.conf;
15. }

方案2：以if语句实现。

 

1. if ($request_uri ~* "^/static/(.*)$")
2. {
3. proxy_pass http://static_pools/$1;
4. }
5. if ($request_uri ~* "^/upload/(.*)$")
6. {
7. proxy_pass http://upload_pools/$1;
8. }
9. location / {
10. proxy_pass http://default_pools;
11. include proxy.conf;
12. }

下面以方案1为例进行实验，Nginx反向代理的实际配置如下：

 

1. [root@nginx nginx]# cat conf/nginx.conf
2. worker_processes 1;
3. events {
4. worker_connections 1024;
5. }
6. http {
7. include mime.types;
8. default_type application/octet-stream;
9. sendfile on;
10. keepalive_timeout 65;
11. upstream static_pools {
13. server 192.168.200.135:80 weight=1;
14. }
15. upstream upload_pools {
17. server 192.168.200.137:80 weight=1;
18. }
20. upstream default_pools {
22. server 192.168.200.128:80 weight=1;
23. }
25. server {
26. listen 80;
27. server_name www.mendermi.com;
28. location / {
29. proxy_pass http://default_pools;
30. include proxy.conf;
31. }
32. location /static/ {
33. proxy_pass http://static_pools;
34. include proxy.conf;
35. }
36. location /upload/ {
37. proxy_pass http://upload_pools;
38. include proxy.conf;
39. }
40. }
41. }

重新加载配置生效 

暂时不要立刻测试成果，为了实现上述代理的测试，还需要在Web01和Web02上做节点的测试配置，才能更好地展示测试效果。 
以Web1作为static静态服务，地址端口为：192.168.200.135：80，需要事先配置一个用于测试静态的地址页面，并测试访问，确定它会返回正确结果。操作步骤如下：

 

1. [root@Web1 html]# cd www/
2. [root@Web1 www]# mkdir static
3. [root@Web1 www]# echo "static_pools" >> static/index.html
4. [root@Web1 www]# curl http://www.mendermi.com/static/index.html
5. static_pools

以Web2作为upload上传服务，地址端口为：192.168.200.137：80，需要事先配置一个用于测试上传服务的地址页面，并测试访问，确定它会返回正确结果。创建目录及文件同Web1相似，只是改了模块名，详见下图

在Web3作为动态服务节点，地址端口为192.168.200.128：80，同样需要事先配置一个默认的地址页面，并测试访问，确定它会返回正确结果。操作步骤如下：

 

1. [root@web3 www]# cd /usr/local/nginx/html/www
2. [root@web3 www]# echo "default_pools" >> index.html
3. [root@web3 www]# curl http://www.yunjisuan.com
4. default_pools

以上准备了三台Web节点服务器，分别加入到了upstream定义的不同服务器池，代表三组不同的业务集群组，从本机通过hosts解析各自的域名，然后测试访问，其地址与实际访问的内容输出请对照下表：

使用客户端计算机访问测试时，最好选用集群以外的机器，这里先在浏览器客户端的hosts文件里把www.yunjisuan.com解析到Nginx反向代理服务器的IP，然后访问上述URL，看代理是不是把请求正确地转发到了指定的服务器上。如果可以得到与上表对应的内容，表示配置的Nginx代理分发的完全正确，因为如果分发请求到错误的机器上就没有对应的URL页面内容，输出会是404错误。

 
以上测试成功！

转载于:https://www.cnblogs.com/mendermi/p/9956292.html