ubuntu 20.04下nginx安装和udp高可用配置

环境准备

• 操作系统：ubuntu 20.04
• nginx版本：1.12.1 （测试发现，高版本1.23.0故障转移不好使，不知道是哪配的不对）
• 安装编译依赖：sudo apt-get install libpcre3 libpcre3-dev libssl-dev

编译安装

下载源码，并编译

操作如下：

# 下载源码
wget http://nginx.org/download/nginx-1.12.1.tar.gz

# 解压
tar xavf nginx-1.12.1.tar.gz

# 切换到nginx目录
cd ./ginx-1.12.1

# configure, 注意，必须加上--with-stream, 否则无法使用udp
./configure --prefix=/usr/local/nginx --with-stream

# 编译
make

此时编译可能会报错：

cc1: all warnings being treated as errors
make[1]: *** [objs/Makefile:511: objs/src/core/ngx_murmurhash.o] Error 1
make[1]: Leaving directory '/tmp/nginx-1.12.1'
make: *** [Makefile:8: build] Error 2

修改修改objs/Makefile文件， 去掉#CFLAGS = -pipe -O -W -Wall -Wpointer-arith -Wno-unused-parameter -Werror -g中的-Werror, 保存退出后，重新执行make命令。

发现报错如下：

src/os/unix/ngx_user.c:36:7: error: ‘struct crypt_data’ has no member named ‘current_salt’

打开文件src/os/unix/ngx_user.c，将这行(第36行)代码注释掉：

    //cd.current_salt[0] = ~salt[0];

重新执行make命令即可编译通过。

安装

sudo make install

nginx会安装到 /usr/local/nginx目录下

建立软链接，方便调用

cd /usr/bin/
ln -sf /usr/local/nginx/sbin/nginx

配置

修改配置/usr/local/nginx/conf/nginx.conf，使支持udp高可用。修改如下：

#user  nobody;
#worker_processes  1;
#nginx进程数,建议设置为等于CPU总核心数.
worker_processes  6;

# nginx默认是没有开启利用多核cpu的配置的。需要通过增加worker_cpu_affinity配置参数来充分利用多核cpu
worker_cpu_affinity 000001 000010 000100 001000 010000 100000;



#error_log  logs/error.log;
#error_log  logs/error.log  notice;
#error_log  logs/error.log  info;

#pid        logs/nginx.pid;

#一个nginx进程打开的最多文件描述符数目,理论值应该是最多打开文件数（系统的值ulimit -n）与nginx进程数相除,但是nginx分配请求并不均匀,所以建议与ulimit -n的值保持一致.
worker_rlimit_nofile 65535;


events {
    #worker_connections  1024;
        
    #参考事件模型,use [ kqueue | rtsig | epoll | /dev/poll | select | poll ]; epoll模型是Linux 2.6以上版本内核中的高性能网络I/O模型,如果跑在FreeBSD上面,就用kqueue模型.
    use epoll;

    #单个进程最大连接数（最大连接数=连接数*进程数）
    worker_connections  65535;


    # multi_accept ：告诉nginx收到一个新连接通知后接受尽可能多的连接，默认是on，设置为on后，多个worker按串行方式来处理连接，也就是一个连接只有一个worker被唤醒，其他的处于休眠状态，设置为off后，多个worker按并行方式来处理连接，也就是一个连接会唤醒所有的worker，直到连接分配完毕，没有取得连接的继续休眠。
    multi_accept on;

}

stream {    
    upstream dns_upstreams {    
      
       #20s内出现3次错误，该服务器将被熔断20s
       server 192.168.10.250:7778   max_fails=3 fail_timeout=20s  weight=10;
       server 192.168.10.201:7778   max_fails=3 fail_timeout=20s  weight=10;     
       server 192.168.10.202:7778   max_fails=3 fail_timeout=20s  weight=10;     
    }     

    server {      
        listen 7777 udp;  

        #代理服务器、服务器组
        proxy_pass dns_upstreams;   

        #与被代理服务器建立连接的超时时间为3s     
        proxy_timeout 3s;  
      
        #错误日志     
        error_log logs/dns.log;   

        #当被代理的服务器返回错误或超时时，将未返回响应的客户端连接请求传递给upstream中的下一个服务器 
        proxy_next_upstream on;

        #转发尝试请求不限制
        proxy_next_upstream_tries 0;

        #转发尝试时间不限制
        proxy_next_upstream_timeout 0;
       
    } 
}


http {
    include       mime.types;
    default_type  application/octet-stream;

    #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
    #                  '$status $body_bytes_sent "$http_referer" '
    #                  '"$http_user_agent" "$http_x_forwarded_for"';

    #access_log  logs/access.log  main;

    sendfile        on;
    #tcp_nopush     on;

    #keepalive_timeout  0;
    keepalive_timeout  65;

    #gzip  on;
    #

    # websocket高可用
    upstream vmws {
        server 192.168.10.250:8888 max_fails=1 fail_timeout=3s;
        server 192.168.10.201:8888 max_fails=1 fail_timeout=3s ;
        server 192.168.10.202:8888 max_fails=1 fail_timeout=3s ;
        }

     server {
        listen       8989;
        server_name  localhost;

        #charset koi8-r;

        #access_log  logs/host.access.log  main;

        location / {
                   proxy_pass http://vmws;
           proxy_http_version 1.1;
           proxy_set_header Upgrade $http_upgrade;
           proxy_set_header Connection "upgrade";
           proxy_next_upstream error timeout  invalid_header http_502;
           proxy_read_timeout 3600s;
        }

        #error_page  404              /404.html;

        # redirect server error pages to the static page /50x.html
        #
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }

    }

}

使用命令nginx -s reload重新加载配置。

可能报错：

nginx: [error] open() "/usr/local/var/run/nginx.pid" failed (2: No such file or directory)

此时重新指定一下配置文件即可，调用命令：nginx -c /usr/local/etc/nginx/nginx.conf, 然后重新调用 nginx -s reload即可