nginx是我们常用反向代理软件，它的监控对于我们来说十分重要，今天介绍一些怎样利用nginx-vts模块和prometheus来实现对nginx的详细监控。
在使用vts之前，我们想要获取nginx 状态码统计，访问量，响应时间等都是通过es分析nginx访问日志得到的，受限于公司es集群的规模，我们没办法做时间跨度过大的统计。后来调研vts模块，发现我们这个模块可以完全满足我们的需求，并且查询速度非常快，查询半年数据也能很快展示出来(我们prometheus只保留半年数据）
安装
1、下载模块
https://github.com/vozlt/nginx-module-vts/releases
2、编译
编译参数添加--add-module=/path/to/nginx-module-vts
然后编译
3、替换现有bin文件
4、reload nginx
通过nginx -V来查看模块是否添加成功
配置
1、配置状态访问接口
在default server里添加状态查看location,并做好相关访问限制
location /status{
allow 127.0.0.1;
deny all;
vhost_traffic_status_display;
vhost_traffic_status_display_format html;
}
2、开启vts统计
如果想统计所有的虚拟主机，就在http配置中添加配置，否则就只在想要监控的server中添加配置
配置说明：
vhost_traffic_status_zone; 开启基础监控
vhost_traffic_status_filter on;
vhost_traffic_status_filter_by_set_key $status $server_name;
#开启详细状态码统计
vhost_traffic_status_filter on;
vhost_traffic_status_filter_by_set_key $uri uris::$server_name;
#开启uri统计
此外还有基于地理信息的统计，根据访问量或访问流量对nginx
做访问限制，详细使用见文档：https://github.com/vozlt/nginx-module-vts#installation
监控
prometheus增加nginx-vts的target即可
http://127.0.0.1/status/format/prometheus
nginx-vts v0.1.17之前的版本没有支持promtheus格式的输出，如果是v0.1.17之前的版本，需要通过nginx-vts-exporter 将nginx-vts输出的信息转换为prometheus识别的格式。当然，建议最好还是使用最新的版本。
prometheus record rules：
- name: nginx
rules:
#虚拟主机rpm
- expr: sum by (host) (rate(nginx_vts_server_requests_total{code="total",host!="localhost"}[40s])*60)
record: 'nginx:total:rpm'
#虚拟主机状态码1xx的rpm
- expr: sum by (host) (rate(nginx_vts_server_requests_total{code="1xx",host!="localhost"}[40s])*60)
record: 'nginx:1xx:rpm'
#虚拟主机状态码2xx的rpm
- expr: sum by (host) (rate(nginx_vts_server_requests_total{code="2xx",host!="localhost"}[40s])*60)
record: 'nginx:2xx:rpm'
#虚拟主机状态码1xx的rpm
- expr: sum by (host) (rate(nginx_vts_server_requests_total{code="3xx",host!="localhost"}[40s])*60)
record: 'nginx:3xx:rpm'
#虚拟主机状态码5xx的rpm
- expr: sum by (host) (rate(nginx_vts_server_requests_total{code="5xx",host!="localhost"}[40s])*60)
record: 'nginx:5xx:rpm'
#虚拟主机异常访问的rpm
- expr: sum by (host) (rate(nginx_vts_server_requests_total{code=~"[4-5]xx",host!="localhost"}[40s])*60)
record: 'nginx:error:rpm'
#nginx实例的rpm
- expr: sum by (hostname) (rate(nginx_vts_server_requests_total{code="total"}[40s])*60)
record: 'nginxhost:total:rpm'
#nginx实例状态码2xx的rpm
- expr: sum by (hostname) (rate(nginx_vts_server_requests_total{code="2xx"}[40s])*60)
record: 'nginxhost:2xx:rpm'
#nginx实例异常访问的rpm
- expr: sum by (hostname) (rate(nginx_vts_server_requests_total{code=~"[4-5]xx"}[40s])*60)
record: 'nginxhost:error:rpm'
#虚拟主机的访问异常率
- expr: 'nginx:error:rpm/nginx:total:rpm'
record: 'http:error:rate'
#nginx实例的的访问异常率
- expr: 'nginxhost:error:rpm/nginxhost:total:rpm'
record: 'nginxhost:error:rate'
图表展示
因为vts-module 暴露出的metrics里，server和upstream并没有关联关系，所以为了能在grafana中通过选择项目名称来同时展示server信息和upstream信息，就需要在命名上做一些规范。
我们项目的命名方式: 机房名称.运行环境.项目属组.项目名称
例如:
azure.prod.ops.download
一个vhost的配置大概如下：
upstream azure.prod.ops.download {
server 192.168.12.1 weight=2;
server 192.168.12.2 weight=1;
}
server {
listen 80;
server_name
azure.prod.ops.download
download.domain1.com
download.domain2.com
;
access_log /usr/local/nginx/logs/azure.prod.ops.download_access.json json;
error_log /usr/local/nginx/logs/azure.prod.ops.download_error.log;
client_max_body_size 200m;
location / {
proxy_pass http://azure.prod.ops.download;
proxy_set_header Host $http_host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_next_upstream error timeout http_404;
}
}
这样通过同一个lebal就能选择出server和upstream的信息。
如果一个server有多个upstream，就在后面添加子名称，然后通过正则匹配前缀来获取所有的upstream.
这样prometheus也可根据idc名称，运行环境，项目组来编写通用的alert rules。
补充：
1、参数vhost_traffic_status_filter_by_host
vts-module 默认是将一个vhost的metrics汇总到第一个server_name 上显示出来，如果想按域名分开统计，可以开启此参数。注意：如果一个vhost拥有多个域名，开启此配置，在监控和展示层面上会比较麻烦。
2、如果没有url统计需求，谨慎开启uri过滤。如果需要开启，要做好相关限制，比如限制采集数量上限vhost_traffic_status_filter_max_node。尽量才用精确配置，比如将url过滤参数写在需要监控的localtion中，而不是整个server配置段里。还有做好反扫描配置。
3、如果在http段配置默认采集所有vhosts 信息，可在server配置段内，通过vhost_traffic_status_bypass_stats on跳过采集
4、nginx-vts-modules 与模块nginx_upstream_check_module冲突