Nginx
Nginx是一款面向性能设计的HTTP服务器，相较于Apache、lighttpd具有占有内存少，nginx不采用每客户机一线程的设计模型，而是充分使用异步逻辑，削减了上下文调度开销，所以并发服务能力更强。整体采用模块化设计，有丰富的模块库和第三方模块库，配置灵活。 在Linux操作系统下，nginx使用epoll事件模型，得益于此，nginx在Linux操作系统下效率相当高。
Nginx的优点：
Nginx作为http服务器，的特征
处理静态文件，索引文件以及自动索引，打开文件描述符缓冲。
无缓存的反向代理加速，简单的负载均衡和容错。
FastCGI，简单的负载均衡和容错
Nginx服务器的类型
web服务器：web服务器用于提供http的访问。
应用程序服务器：客户端回话管理，业务逻辑管理，数据操作
反向代理
后台代理
防火墙
user nginx nginx; //指定nginx运行的用户及用户组为nginx，默认为nobody
worker_processes 2； //开启的进程数，一般跟逻辑cpu核数一致 cat /proc/cpuinfo| grep "processor"| wc -l
worker_cpu_affinity 00000001 00000010 00000100 00001000 00010000 00100000 01000000 10000000; //为每个进程分配 cpu，上例中将 8 个进程分配到 8 个 cpu，当然可以写多个，或者将一个进程分配到多个 cpu。
error_log logs/error.log notice; //定于全局错误日志文件，级别以notice显示。还有debug、info、warn、error、crit模式，debug输出最多，crit输出最少，更加实际环境而定。
pid logs/nginx.pid; //指定进程id的存储文件位置
worker_rlimit_nofile 65535; //指定一个nginx进程打开的最多文件描述符数目，受系统进程的最大打开文件数量限制。可以调整系统系统最大打开文件数来更改设置
events {
use epoll; 设置工作模式为epoll，除此之外还有select、poll、kqueue、rtsig和/dev/poll模式
worker_connections 65535; //定义每个进程的最大连接数 受系统进程的最大打开文件数量限制
}
epoll模型：
epoll是Linux内核为处理大批量文件描述符而作了改进的epoll， 它能显著提高程序在大量并发连接中只有少量活跃的情况下的系统CPU利用率
优点：
支持一个进程打开大数目的socket描述符
它所支持的FD上限是最大可以打开文件的数目，这个数字一般远大于2048,举个例子，在1GB内存的机器上大约是10万左右，具体数目可以cat /proc/sys/fs/file-max查看，一般来说这个数目和系统内存关系很大。
反观select 一个进程所打开的FD是有一定限制的，由FD_SETSIZE设置，默认值是1024。对于那些需要支持的上万连接数目的IM服务器来说显然太少了（例如：Apache）
IO效率不随FD数目增加而线性下降
传统的select/poll另一个致命弱点就是当你拥有一个很大的socket集合，不过由于网络延时，任一时间只有部分的socket是"活跃"的，但是select/poll每次调用都会线性扫描全部的集合，导致效率呈现线性下降。 epoll它只会对"活跃"的socket进行操作---这是因为在内核实现中epoll是根据每个fd上面的callback函数实现的
使用mmap加速内核与用户空间的消息传递
无论是select,poll还是epoll都需要内核把FD消息通知给用户空间, 如何避免不必要的内存拷贝就很重要，在这点上，epoll是通过内核与用户空间mmap同一块内存实现的.
http {
include mime.types; //主模块指令，实现对配置文件所包含的文件的设定，可以减少主配置文件的复杂度，DNS主配置文件中的zonerfc1912，acl基本上都是用的include语句
default_type application/octet-stream; //核心模块指令，这里默认设置为二进制流，也就是当文件类型未定义时使用这种方式
//下面代码为日志格式的设定，main为日志格式的名称，可自行设置，后面引用。
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
access_log logs/access.log main; //引用日志main
client_max_body_size 20m; //设置允许客户端请求的最大的单个文件字节数
client_header_buffer_size 32k; //指定来自客户端请求头的headebuffer大小
client_body_temp_path /dev/shm/client_body_temp; //指定连接请求试图写入缓存文件的目录路径
large_client_header_buffers 4 32k; //指定客户端请求中较大的消息头的缓存最大数量和大小，目前设置为4个32KB
sendfile on; //开启高效文件传输模式
tcp_nopush on; //开启防止网络阻塞
tcp_nodelay on; //开启防止网络阻塞
keepalive_timeout 65; //设置客户端连接保存活动的超时时间
client_header_timeout 10; //用于设置客户端请求读取超时时间
client_body_timeout 10; //用于设置客户端请求主体读取超时时间
send_timeout 10; //用于设置相应客户端的超时时间
//以下是httpGzip模块配置
#httpGzip modules
gzip on; //开启gzip压缩
gzip_min_length 1k; //设置允许压缩的页面最小字节数
gzip_buffers 4 16k; //申请4个单位为16K的内存作为压缩结果流缓存
gzip_http_version 1.1; //设置识别http协议的版本,默认是1.1
gzip_comp_level 2; //指定gzip压缩比,1-9 数字越小,压缩比越小,速度越快.
gzip_types text/plain application/x-javascript text/css application/xml; //指定压缩的类型
gzip_vary on; //让前端的缓存服务器存经过gzip压缩的页面
反向代理：
location / {
#设置主机头和客户端真实地址，以便服务器获取客户端真实IP
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
#禁用缓存
proxy_buffering off;
#设置反向代理的地址
proxy_pass http://192.168.1.1;
}
负载均衡
upstream test{
#ip_hash;
server 192.168.1.251;
server 192.168.1.252;
server 192.168.1.247;
}
server {
listen 80;
server_name helloword;
location / {
#反向代理的地址
proxy_pass http://test;
}
}
负载均衡+反向代理完整配置示例
nginx.conf：
worker_processes 1;
events {
worker_connections 1024;
}
http {
include mime.types;
default_type application/octet-stream;
sendfile on;
keepalive_timeout 65;
upstream test{
#ip_hash;
server 192.168.1.251;
server 192.168.1.252;
server 192.168.1.247;
}
server {
listen 80;
server_name 2;
location / {
#设置主机头和客户端真实地址，以便服务器获取客户端真实IP
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
#禁用缓存
proxy_buffering off;
#反向代理的地址
proxy_pass http://test;
}
}
}
动静分离
worker_processes 1;
events {
worker_connections 1024;
}
http {
include mime.types;
default_type application/octet-stream;
sendfile on;
keepalive_timeout 65;
upstream test {
#ip_hash;
server 192.168.1.251;
server 192.168.1.252;
server 192.168.1.247;
}
server {
listen 80;
server_name 2;
#配置Nginx动静分离，定义的静态页面直接从Nginx发布目录读取。
location ~ .*\.(html|htm|gif|jpg|jpeg|bmp|png|ico|txt|js|css)$ {
root /usr/local/nginx/html/myloan;
#expires定义用户浏览器缓存的时间为7天，如果静态页面不常更新，可以设置更长，这样可以节省带宽和缓解服务器的压力
expires 7d;
}
#所有jsp、do的动态请求都交给后面的tomcat处理
location ~ (\.jsp)|(\.do)$ {
#tomcat地址
proxy_pass http://test;
proxy_redirect off;
proxy_set_header HOST $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
client_max_body_size 10m;
client_body_buffer_size 128k;
proxy_connect_timeout 90;
proxy_send_timeout 90;
proxy_read_timeout 90;
proxy_buffer_size 4k;
proxy_buffers 4 32k;
proxy_busy_buffers_size 64k;
proxy_temp_file_write_size 64k;
}
}
}
完整的Nginx.conf配置文件
#运行用户
user www-data;
#启动进程,通常设置成和cpu的数量相等
worker_processes 1;
#全局错误日志及PID文件
error_log /var/log/nginx/error.log;
pid /var/run/nginx.pid;
#工作模式及连接数上限
events {
use epoll; #epoll是多路复用IO(I/O Multiplexing)中的一种方式,但是仅用于linux2.6以上内核,可以大大提高nginx的性能
worker_connections 1024;#单个后台worker process进程的最大并发链接数
# multi_accept on;
}
#设定http服务器，利用它的反向代理功能提供负载均衡支持
http {
#设定mime类型,类型由mime.type文件定义
include /etc/nginx/mime.types;
default_type application/octet-stream;
#设定日志格式
access_log /var/log/nginx/access.log;
#sendfile 指令指定 nginx 是否调用 sendfile 函数（zero copy 方式）来输出文件，对于普通应用，
#必须设为 on,如果用来进行下载等应用磁盘IO重负载应用，可设置为 off，以平衡磁盘与网络I/O处理速度，降低系统的uptime.
sendfile on;
#tcp_nopush on;
#连接超时时间
#keepalive_timeout 0;
keepalive_timeout 65;
tcp_nodelay on;
#开启gzip压缩
gzip on;
gzip_disable "MSIE [1-6]\.(?!.*SV1)";
#设定请求缓冲
client_header_buffer_size 1k;
large_client_header_buffers 4 4k;
include /etc/nginx/conf.d/*.conf;
include /etc/nginx/sites-enabled/*;
#设定负载均衡的服务器列表
upstream mysvr {
#weigth参数表示权值，权值越高被分配到的几率越大
#本机上的Squid开启3128端口
server 192.168.8.1:3128 weight=5;
server 192.168.8.2:80 weight=1;
server 192.168.8.3:80 weight=6;
}
server {
#侦听80端口
listen 80;
#定义使用www.xx.com访问
server_name www.xx.com;
#设定本虚拟主机的访问日志
access_log logs/www.xx.com.access.log main;
#默认请求
location / {
root /root; #定义服务器的默认网站根目录位置
index index.php index.html index.htm; #定义首页索引文件的名称
fastcgi_pass www.xx.com;
fastcgi_param SCRIPT_FILENAME $document_root/$fastcgi_script_name;
include /etc/nginx/fastcgi_params;
}
# 定义错误提示页面
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root /root;
}
#静态文件，nginx自己处理
location ~ ^/(p_w_picpaths|javascript|js|css|flash|media|static)/ {
root /var/www/virtual/htdocs;
#过期30天，静态文件不怎么更新，过期可以设大一点，如果频繁更新，则可以设置得小一点。
expires 30d;
}
#PHP 脚本请求全部转发到 FastCGI处理. 使用FastCGI默认配置.
location ~ \.php$ {
root /root;
fastcgi_pass 127.0.0.1:9000;
fastcgi_index index.php;
fastcgi_param SCRIPT_FILENAME /home/www/www$fastcgi_script_name;
include fastcgi_params;
}
#设定查看Nginx状态的地址
location /NginxStatus {
stub_status on;
access_log on;
auth_basic "NginxStatus";
auth_basic_user_file conf/htpasswd;
}
#禁止访问 .htxxx 文件
location ~ /\.ht {
deny all;
}
}
}
nginx做七层防火墙
第一步：备份原环境模块
使用 /../nginx -V 先查看原来都有哪些模块。
然后把上面这些先复制下来以作备用。
第二步：安装依赖，阿里云的服务器可以直接使用yum安装或者升级
yum install -y gcc make automake autoconf libtool yum install -y pcre pcre-devel libxml2 libxml2-devel curl curl-devel httpd-devel
第三步：下载编译安装modsecurity
git clone https://github.com/SpiderLabs/ModSecurity.git mod_security cd mod_security ./autogen.sh ./configure --enable-standalone-module make
*（为了避免出错，可先将autogen.sh的权限改成777）
第四步：下载nginx
wget http://www.nginx.org/download/nginx-1.10.2.tar.gz
找到nginx-1.10.1/auto/lib/openssl/conf文件，将第31-35行编辑为
*（为下面编译openssl做准备）
第五步：重新编译pcre
wget ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.38.tar.gz tar -xvpzf pcre-8.38.tar.gz cd pcre-8.38sudo autoreconf -ivf
*(configure要改为777权限)
第六步：重新编译openssl
wget https://www.openssl.org/source/openssl-1.0.2j.tar.gz tar -xvpzf openssl-1.0.2j.tar.gz cd openssl-1.0.2j ./config make
*(config要改为777权限)
第七步：编译nginx，增加modsecurity模块以及原有模块。
cd nginx-1.10.2./configure --prefix=/usr/local/nginx --user=www --group=www --with-http_stub_status_module --with-http_v2_module --with-http_ssl_module --with-ipv6 --with-http_gzip_static_module --with-http_realip_module --with-http_flv_module --with-openssl=../openssl-1.0.2j --with-pcre=../pcre-8.38 --with-pcre-jit --with-ld-opt=-ljemalloc \ --add-module=../mod_security/nginx/modsecurity make
*(configure要改为777权限，不要make install)
第八步：拷贝编译后的nginx文件覆盖现有的nginx文件
service nginx stop cp /usr/local/nginx/sbin/nginx /usr/local/nginx/sbin/nginx.bak cp objs/nginx /usr/local/nginx/sbin/nginx service nginx start
第九步：查看现有编译模块
/../nginx -V
如图，原有模块不变，增加modsecurity成功！
第十步：下载OWASP规则
下载地址：https://github.com/SpiderLabs/owasp-modsecurity-crs
将规则目录 owasp-modsecurity-crs-master 放置 /usr/local/nginx/conf/ 下，
然后将 owasp-modsecurity-crs-master 目录下的 modsecurity_crs_10_setup.conf.example 改名为 modsecurity_crs_10_setup.conf 。
第十一步：启用OWASP规则
复制modsecurity源码目录下的modsecurity.conf-recommended和unicode.mapping到nginx的conf目录下，并将modsecurity.conf-recommended重新命名为modsecurity.conf 。
编辑modsecurity.conf 文件，将SecRuleEngine设置为 on ，并将你需要的规则导入进来：
Include modsecurity-crs/modsecurity_crs_10_setup.conf Include modsecurity-crs/base_rules/modsecurity_crs_35_bad_robots.conf Include modsecurity-crs/base_rules/modsecurity_crs_40_generic_attacks.conf Include modsecurity-crs/base_rules/modsecurity_crs_41_sql_injection_attacks.conf Include modsecurity-crs/base_rules/modsecurity_crs_41_xss_attacks.conf Include modsecurity-crs/base_rules/modsecurity_crs_42_tight_security.conf Include modsecurity-crs/base_rules/modsecurity_crs_45_trojans.conf
*（如果你的网站使用了CDN服务，并且间歇性打不开，可能需要删除 modsecurity_crs_11_proxy_abuse.conf 这条恶意代理IP、IP黑名单规则）
第十二步：配置nginx
location \ { ModSecurityEnabled on; ModSecurityConfig modsecurity.conf;
....其他配置
}
service nginx reload
第十三步：测试
……
如果***被阻止，恭喜你，成功启用modsecurity！
其他、排错：
· 如果正常的post请求被阻止，可将modsecurity.conf中的 SecRequestBodyAccess 修改为 Off。
· modsecurity默认的阻止日志在 /var/log/modsec_audit.log 下，可查看详细被阻止的原因和规则，可禁用规则来放行（禁用方法见下文）。
· 如果提示 Audit log: Failed to lock global mutex: Permission denied
你可能需要将modsecurity.conf中的 SecAuditLogType Serial 注释掉，然后修改/添加以下内容：
SecAuditLog /var/log/modsec_audit.log #（该设置默认是有的，这里不需要注释） SecAuditLogType Concurrent SecAuditLogStorageDir /opt/modsecurity/var/audit/ #（该文件夹需要新建，并且必须指定用户组，例如属于wwwdata，和nginx中设置的相同）
· 如果正常的post使用302跳转方法无响应，可屏蔽950922 960034 960032这几个规则再试，另外这个现象有时候会伴随多个问题，例如nginx中也会产生错误日志等，根据官方的说法是modsecurity 2.9.X以前的版本在nginx下是存在bug的，官方github issue中也有很多关于类似的问题，并且官方推荐使用最新的3.0版本，将会对nginx支持更好。
增加白名单方法：
修改 modsecurity.conf ，加入 SecRuleRemoveById 960024 这样的格式禁用该规则id，也可以使用SecRuleRemoveByMs 、 SecRuleRemoveByTag 。
modsecurity owasp详细规则解释：
第一部分：基础规则集
modsecurity_crs_20_protocol_violations.conf HTTP协议规范相关规则
modsecurity_crs_21_protocol_anomalies.conf HTTP协议规范相关规则
modsecurity_crs_23_request_limits.conf HTTP协议大小长度限制相关规则
modsecurity_crs_30_http_policy.conf HTTP协议白名单相关规则
modsecurity_crs_35_bad_robots.conf 恶意扫描器与爬虫规则
modsecurity_crs_40_generic_attacks.conf 常见的***例如命令执行，代码执行，注入，文件包含、敏感信息泄露、会话固定、HTTP响应拆分等相关规则
modsecurity_crs_41_sql_injection_attacks.conf SQL注入相关规则（竟然有一条MongoDB注入的规则，很全）
modsecurity_crs_41_xss_attacks.conf XSS相关规则
modsecurity_crs_42_tight_security.conf 目录遍历相关规则
modsecurity_crs_45_trojans.conf webshell相关规则
modsecurity_crs_47_common_exceptions.conf Apache异常相关规则
modsecurity_crs_49_inbound_blocking.conf 协同防御相关规则
modsecurity_crs_50_outbound.conf 检测response_body中的错误信息，警告信息，列目录信息
modsecurity_crs_59_outbound_blocking.conf 协同防御相关规则
modsecurity_crs_60_correlation.conf 协同防御相关规则
第二部分：SLR规则集
来自确定APP的PoC，不会误报，检测方法是先检查当前请求的文件路径是否出现在data文件中，若出现再进行下一步测试，否则跳过该规则集的检测
modsecurity_crs_46_slr_et_joomla_attacks.conf JOOMLA应用的各种漏洞规则
modsecurity_crs_46_slr_et_lfi_attacks.conf 各种APP的本地文件包含相关规则
modsecurity_crs_46_slr_et_phpbb_attacks.conf PHPBB应用的各种漏洞规则
modsecurity_crs_46_slr_et_rfi_attacks.conf 各种APP的远程文件包含相关规则
modsecurity_crs_46_slr_et_sqli_attacks.conf 各种APP的SQL注入相关规则
modsecurity_crs_46_slr_et_wordpress_attacks.conf WORDPRESS应用的各种漏洞规则
modsecurity_crs_46_slr_et_xss_attacks.conf 各种APP的XSS相关规则
第三部分：可选规则集
modsecurity_crs_10_ignore_static.conf 静态文件不过WAF检测的相关规则
modsecurity_crs_11_avs_traffic.conf AVS（授权的漏洞扫描器）的IP白名单规则
modsecurity_crs_13_xml_enabler.conf 请求体启用XML解析处理
modsecurity_crs_16_authentication_tracking.conf 记录登陆成功与失败的请求
modsecurity_crs_16_session_hijacking.conf 会话劫持检测
modsecurity_crs_16_username_tracking.conf 密码复杂度检测
modsecurity_crs_25_cc_known.conf CreditCard验证
modsecurity_crs_42_comment_spam.conf 垃圾评论检测
modsecurity_crs_43_csrf_protection.conf 与modsecurity_crs_16_session_hijacking.conf联合检测，使用内容注入动作append注入CSRF Token
modsecurity_crs_46_av_scanning.conf 使用外部脚本扫描病毒
modsecurity_crs_47_skip_outbound_checks.conf modsecurity_crs_10_ignore_static.conf的补充
modsecurity_crs_49_header_tagging.conf 将WAF规则命中情况配合Apache RequestHeader指令注入到请求头中，以供后续应用进一步处理
modsecurity_crs_55_application_defects.conf 安全头(X-XSS-Protection,X-FRAME-OPTIONS,X-Content-Type-Options)设置,安全Cookie设置（Domain，httponly,secure)，字符集设置等规则
modsecurity_crs_55_marketing.conf记录MSN/Google/Yahoo robot情况
第四部分：实验性规则集
modsecurity_crs_11_brute_force.conf 防御暴力破解相关规则
modsecurity_crs_11_dos_protection.conf 防DoS***相关规则
modsecurity_crs_11_proxy_abuse.conf 检测X-Forwarded-For是否是恶意代理IP，IP黑名单
modsecurity_crs_11_slow_dos_protection.conf Slow HTTP DoS***规则
modsecurity_crs_25_cc_track_pan.conf 检测响应体credit card信息
modsecurity_crs_40_http_parameter_pollution.conf 检测参数污染
modsecurity_crs_42_csp_enforcement.conf CSP安全策略设置
modsecurity_crs_48_bayes_analysis.conf 使用外部脚本采取贝叶斯分析方法分析HTTP请求，区分正常与恶意请求
modsecurity_crs_55_response_profiling.conf 使用外部脚本将响应体中的恶意内容替换为空
modsecurity_crs_56_pvi_checks.conf使用外部脚本检测 REQUEST_FILENAME是否在osvdb漏洞库中
modsecurity_crs_61_ip_forensics.conf 使用外部脚本收集IP的域名、GEO等信息
modsecurity_crs_40_appsensor_detection_point_2.0_setup.conf APPSENSOR检测设置文件
modsecurity_crs_40_appsensor_detection_point_3.0_end.conf APPSENSOR检测设置文件
modsecurity_crs_16_scanner_integration.conf 对扫描器设置IP白名单，并调用扫描器API来进行检测
modsecurity_crs_46_scanner_integration.conf
使用modsecurity_crs_40_appsensor_detection_point_2.0_setup.conf，modsecurity_crs_40_appsensor_detection_point_3.0_end.conf 来跟踪XSS漏洞参数与SQLI漏洞参数
modsecurity_crs_40_appsensor_detection_point_2.1_request_exception.conf 使用外部脚本检测请求方法，参数个数，参数名字，参数长度，参数字符等限制
modsecurity_crs_40_appsensor_detection_point_2.9_honeytrap.conf 使用隐藏参数设置蜜罐