前因后果:
公司项目。之前nignx和线上项目部署在相同的服务器。然后导致我们的ip暴露了。被攻击了导致服务崩溃。上阿里高防成本过高。现在单独在Linux 下部署Nginx进行转发。隐藏服务的的Ip
此文章为虚拟机练手部署方式。 c#菜鸡Linux不咋会所以从最基础部署:
安装:注意管理员密码 和你新建的用户密码都是同一个 管理员账户名 root
1.打开终端(类似cmd) 添加源 (类似从git上拉niginx的各种版本进行下载。地址错误你就没法下载。需要root权限)
sudo rpm -Uvh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm
2.效验是否和源绑定上 (效验和git的连接状态)
yum search nginx
3.安装nginx (连上了git 下载),
sudo yum install -y nginx
4.设置开机启动 (自行选择是否配置,建议。万一服务重启方便嘛)
systemctl enable nginx
=========================================================================
1.开启nginx,关闭nginx,重启nginx
systemctl start nginx //开启nginx
systemctl stop nginx //关闭nginx
systemctl restart nginx //重启nginx
2.查看服务当前状态 (启动,关闭都不会有反馈。只有看服务状态来看服务的状态)
systemctl status nginx
3.设置开机自启 ,停止开机启动 ,查看所有已启动的服务
systemctl enable nginx //开机启动
systemctl disable nginx //关闭开机启动
systemctl list-units --type=service //查看所有已启动的服务
4.配置文件自检
nginx -t
(上面是没问题的。下面是33行报错的。可以通过这个来检测一些配置项的问题)
(
文件路径:
nginx启动的路径在:/usr/sbin/nginx
nginx的配置文件在:/etc/nginx/nginx.conf (配置文件自检。检测的就是该文件)
日志文件地址:/var/log/nginx
开启启动的服务文件在该路径:
/etc/systemd/system/multi-user.target.wants/nginx.service
)
=========================================================================
下面是重头戏。对于nginx配置项的优化。具体的nginx如何转发请求可以借鉴(CSDNhttps://mp.csdn.net/mp_blog/creation/editor/108201172)
把以下参数追加到配置文件中
1)CPU工作进程和CPU亲和力优化
Nginx运行工作进程个数一般设置 CPU的核心/核心数 * 2
可以去 /proc/cpuinfo文件 查看cpu数。根据核心数来进行下面的配置
worker_processes : 配置工作进程的数量 max = CPU的核心/核心数 * 2
(一般最多设置8个,8个以上性能提升不会再提升了,而且稳定性变得更低,所以8个进程够用了)
worker_cpu_affinity : 配置Nginx运CPU亲和度
(nginx默认是没有开启利用多核cpu的配置的。需要通过增加配置参数来充分利用多核cpu,cpu是任务处理,当计算最费时的资源的时候,cpu核使用上的越多,性能就越好,01 10;表示开启两个进程,0001表示启用第一个CPU内核,0010表示启用第二个CPU内核,依此类推)
//4核
worker_processes 4;
worker_cpu_affinity 0001 0010 0100 1000;
//8核
worker_processes 8;
worker_cpu_affinity 00000001 00000010 00000100 0000100000010000 00100000 01000000 10000000;
2)Nginx 最大打开文件数优化
为nginx工作进程改变打开最多文件描述符数目的限制。用来在不重启主进程的情况下增加限制。
理论上这个值是最多打开文件数(ulimit -n)与nginx工作进程相除。
默认的最大打开文件数(句柄数) 为 1024
用户可以通过命令 ulimit -n 65535 设置指定句柄数,一般权限重启生效。root立即生效
也可以通过下面nignx的配置来覆盖ulimit的值。
//配置Nginx worker进程最大打开文件数
worker_rlimit_nofile 65535;
3)Nginx事件处理模型优化
events {
use epoll;
worker_connections 6000;
multi_accept on;
}
在不指定事件处理模型时,nginx默认是最佳的时间处理模型 (epoll事件模型)
worker_processes : 单个进程允许客户端最大连接数,这个数值一般根据服务器性能和内存来配置。max = worker_processes(核心数) * worker_connections (连接数)
(
建议为65535
设置过小,会容易出现500错误
设置过大 > CPU核心数,会导致服务器彻底死掉
官方建议: 一个cpu配置多于一个worker数,对nginx而言没有任何益处
)
multi_accept: 告诉nginx收到一个新连接通知后接受尽可能多的连接。
默认 on: 多个worker 串行处理。一个连接只有1个work被唤醒,其他处于休眠
off:多个worker按并行方式处理,一个连接唤醒所有直至连接分配完毕。没有取得的继续休眠。
(服务器连接数不多时,开启会降低负载,服务器吞吐量很大时,关闭可以提升效率)
4)Nginx开启高效传输模式
http {
include mime.types;
default_type application/octet-stream;
sendfile on;
tcp_nopush on;
}
Include mime.types :媒体类型
default_type application/octet-stream :默认媒体类型足够
sendfile :是否调用sendfile函数来输出文件
(对于普通应用设为 on,如果用来进行下载等应用磁盘IO重负载应用,可设置为off,以平衡磁盘与网络I/O处理速度,降低系统的负载。注意:如果图片显示不正常把这个改成off)
tcp_nopush :必须在sendfile开启模式才有效,防止网路阻塞,积极的减少网络报文段的数量(将响应头和正文的开始部分一起发送,而不一个接一个的发送)
5)Nginx连接超时时间
keepalive_timeout 60;
tcp_nodelay on;
client_header_buffer_size 4k;
open_file_cache max=102400 inactive=20s;
open_file_cache_valid 30s;
open_file_cache_min_uses 1;
client_header_timeout 15;
client_body_timeout 15;
reset_timedout_connection on;
send_timeout 15;
server_tokens off;
client_max_body_size 10m;
keepalived_timeout :客户端连接保持会话超时时间,超过这个时间,服务器断开这个链接。
tcp_nodelay:也是防止网络阻塞,不过要包涵在keepalived参数才有效。
client_header_buffer_size 4k:客户端请求头部的缓冲区大小,这个可以根据你的系统分页大小来设置,一般一个请求头的大小不会超过 1k,不过由于一般系统分页都要大于1k,所以这里设置为分页大小。分页大小可以用命令getconf PAGESIZE取得。
open_file_cache max=102400 inactive=20s : 这个将为打开文件指定缓存,默认是没有启用的,max指定缓存数量,建议和打开文件数一致,inactive 是指经过多长时间文件没被请求后删除缓存。
open_file_cache_valid 30s:这个是指多长时间检查一次缓存的有效信息。
open_file_cache_min_uses 1 :open_file_cache指令中的inactive 参数时间内文件的最少使用次数,如果超过这个数字,文件描述符一直是在缓存中打开的,如上例,如果有一个文件在inactive 时间内一次没被使用,它将被移除。
client_header_timeout : 设置请求头的超时时间。我们也可以把这个设置低些,如果超过这个时间没有发送任何数据,nginx将返回request time out的错误。
client_body_timeout :设置请求体的超时时间。我们也可以把这个设置低些,超过这个时间没有发送任何数据,和上面一样的错误提示。
reset_timeout_connection :告诉nginx关闭不响应的客户端连接。这将会释放那个客户端所占有的内存空间。
send_timeout :响应客户端超时时间,这个超时时间仅限于两个活动之间的时间,如果超过这个时间,客户端没有任何活动,nginx关闭连接。
server_tokens :并不会让nginx执行的速度更快,但它可以关闭在错误页面中的nginx版本数字,这样对于安全性是有好处的。
6)Nginx的GZIP优化
使用gzip压缩功能,可能为我们节约带宽,加快传输速度,有更好的体验,也为我们节约成本,所以说这是一个重点。
Nginx启用压缩功能需要你来ngx_http_gzip_module模块,apache使用的是mod_deflate。
一般我们需要压缩的内容有:文本,js,html,css,对于图片,视频,flash什么的不压缩,同时也要注意,我们使用gzip的功能是需要消耗CPU的!
gzip on;
gzip_min_length 2k;
gzip_buffers 4 32k;
gzip_http_version 1.1;
gzip_comp_level 6;
gzip_types text/plain text/css text/javascriptapplication/json application/javascript application/x-javascriptapplication/xml;
gzip_vary on;
gzip_proxied any;
gzip_min_length 1k :设置允许压缩的页面最小字节数,页面字节数从header头的Content-Length中获取,默认值是0,不管页面多大都进行压缩,建议设置成大于1K,如果小与1K可能会越压越大。
gzip_buffers 4 32k :压缩缓冲区大小,表示申请4个单位为32K的内存作为压缩结果流缓存,默认值是申请与原始数据大小相同的内存空间来存储gzip压缩结果。
gzip_http_version 1.1 :压缩版本,用于设置识别HTTP协议版本,默认是1.1,目前大部分浏览器已经支持GZIP解压,使用默认即可。
gzip_comp_level 6 :压缩比例,用来指定GZIP压缩比,1压缩比最小,处理速度最快,9压缩比最大,传输速度快,但是处理慢,也比较消耗CPU资源。
gzip_types text/css text/xml application/javascript :用来指定压缩的类型,‘text/html’类型总是会被压缩。默认值: gzip_types text/html (默认不对js/css文件进行压缩)
、压缩类型,匹配MIME型进行压缩;
、不能用通配符 text/*;
、text/html默认已经压缩 (无论是否指定);
、设置哪压缩种文本文件可参考 conf/mime.types。
gzip_vary on :varyheader支持,改选项可以让前端的缓存服务器缓存经过GZIP压缩的页面,例如用Squid缓存经过nginx压缩的数据。
7)proxy超时设置
proxy_connect_timeout 60;
proxy_send_timeout 60;
proxy_read_timeout 60;
proxy_buffer_size 64k;
proxy_buffers 4 32k;
proxy_busy_buffers_size 64k;
=========================================================================
内核的优化地址为:/etc/sysctl.conf 文件
fs.file-max = 999999
net.ipv4.ip_forward = 0
net.ipv4.conf.default.rp_filter = 1
net.ipv4.conf.default.accept_source_route = 0
kernel.sysrq = 0
kernel.core_uses_pid = 1
net.ipv4.tcp_syncookies = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.shmmax = 68719476736
kernel.shmall = 4294967296
net.ipv4.tcp_max_tw_buckets = 6000
net.ipv4.tcp_sack = 1
net.ipv4.tcp_window_scaling = 1
net.ipv4.tcp_rmem = 10240 87380 12582912
net.ipv4.tcp_wmem = 10240 87380 12582912
net.core.wmem_default = 8388608
net.core.rmem_default = 8388608
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.core.netdev_max_backlog = 262144
net.core.somaxconn = 40960
net.ipv4.tcp_max_orphans = 3276800
net.ipv4.tcp_max_syn_backlog = 262144
net.ipv4.tcp_timestamps = 0
net.ipv4.tcp_synack_retries = 1
net.ipv4.tcp_syn_retries = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_mem = 94500000 915000000 927000000
net.ipv4.tcp_fin_timeout = 1
net.ipv4.tcp_keepalive_time = 30
net.ipv4.ip_local_port_range = 1024 65000
fs.file-max = 999999:这个参数表示进程(比如一个worker进程)可以同时打开的最大句柄数,这个参数直线限制最大并发连接数,需根据实际情况配置。
net.ipv4.tcp_max_tw_buckets = 6000 :这个参数表示操作系统允许TIME_WAIT套接字数量的最大值,如果超过这个数字,TIME_WAIT套接字将立刻被清除并打印警告信息。该参数默认为180000,过多的TIME_WAIT套接字会使Web服务器变慢。注:主动关闭连接的服务端会产生TIME_WAIT状态的连接
net.ipv4.ip_local_port_range = 1024 65000 :允许系统打开的端口范围。
net.ipv4.tcp_tw_recycle = 1 :启用timewait快速回收。
net.ipv4.tcp_tw_reuse = 1 :开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接。这对于服务器来说很有意义,因为服务器上总会有大量TIME-WAIT状态的连接。
net.ipv4.tcp_keepalive_time = 30:这个参数表示当keepalive启用时,TCP发送keepalive消息的频度。默认是2小时,若将其设置的小一些,可以更快地清理无效的连接。
net.ipv4.tcp_syncookies = 1 :开启SYN Cookies,当出现SYN等待队列溢出时,启用cookies来处理。
net.core.somaxconn = 40960 :web 应用中 listen 函数的 backlog 默认会给我们内核参数的。
net.core.somaxconn :限制到128,而nginx定义的NGX_LISTEN_BACKLOG 默认为511,所以有必要调整这个值。注:对于一个TCP连接,Server与Client需要通过三次握手来建立网络连接.当三次握手成功后,我们可以看到端口的状态由LISTEN转变为ESTABLISHED,接着这条链路上就可以开始传送数据了.每一个处于监听(Listen)状态的端口,都有自己的监听队列.监听队列的长度与如somaxconn参数和使用该端口的程序中listen()函数有关。somaxconn定义了系统中每一个端口最大的监听队列的长度,这是个全局的参数,默认值为128,对于一个经常处理新连接的高负载 web服务环境来说,默认的 128 太小了。大多数环境这个值建议增加到 1024 或者更多。大的侦听队列对防止拒绝服务 DoS 攻击也会有所帮助。
net.core.netdev_max_backlog = 262144 :每个网络接口接收数据包的速率比内核处理这些包的速率快时,允许送到队列的数据包的最大数目。
net.ipv4.tcp_max_syn_backlog = 262144 :这个参数标示TCP三次握手建立阶段接受SYN请求队列的最大长度,默认为1024,将其设置得大一些可以使出现Nginx繁忙来不及accept新连接的情况时,Linux不至于丢失客户端发起的连接请求。
net.ipv4.tcp_rmem = 10240 87380 12582912 :这个参数定义了TCP接受缓存(用于TCP接受滑动窗口)的最小值、默认值、最大值。
net.ipv4.tcp_wmem = 10240 87380 12582912:这个参数定义了TCP发送缓存(用于TCP发送滑动窗口)的最小值、默认值、最大值。
net.core.rmem_default = 6291456:这个参数表示内核套接字接受缓存区默认的大小。
net.core.wmem_default = 6291456:这个参数表示内核套接字发送缓存区默认的大小。
net.core.rmem_max = 12582912:这个参数表示内核套接字接受缓存区的最大大小。
net.core.wmem_max = 12582912:这个参数表示内核套接字发送缓存区的最大大小。
net.ipv4.tcp_syncookies = 1:该参数与性能无关,用于解决TCP的SYN攻击。
=========================================================================
linux 默认值 open files为1024。查看当前系统值:
# ulimit -n1024 说明server只允许同时打开1024个文件。
使用ulimit -a 可以查看当前系统的所有限制值,使用ulimit -n 可以查看当前的最大打开文件数。
新装的linux 默认只有1024 ,当作负载较大的服务器时,很容易遇到error: too many open files。因此,需要将其改大。
在 /etc/security/limits.conf
* soft nofile 65535
* hard nofile 65535
* soft noproc 65535
* hard noproc 65535