elk7版本和之前的部署方式不太一样,我们先部署一下,回忆一下:

一、部署es集群:

我们使用elk用户来启动和创建

首先安装jdk 这里使用1.13版本

elk7版本,收集nginx日志,grafana进行展示
elk7版本,收集nginx日志,grafana进行展示
这里自行安装,百度都有

接下来开始配置,这些

系统的参数
elk7版本,收集nginx日志,grafana进行展示_第1张图片

/etc/security/limits.conf
elk7版本,收集nginx日志,grafana进行展示_第2张图片

elk7版本,收集nginx日志,grafana进行展示_第3张图片

重启一下或者这个临时的不然系统不识别
elk7版本,收集nginx日志,grafana进行展示_第4张图片

接下来开始es配置

elk7版本,收集nginx日志,grafana进行展示

elk7版本,收集nginx日志,grafana进行展示_第5张图片
elk7版本,收集nginx日志,grafana进行展示_第6张图片
elk7版本,收集nginx日志,grafana进行展示_第7张图片
自行修改,默认1G

elk7版本,收集nginx日志,grafana进行展示_第8张图片

创建一下之前的,数据保存目录

elk7版本,收集nginx日志,grafana进行展示_第9张图片

启动es
elk7版本,收集nginx日志,grafana进行展示_第10张图片

访问一下
elk7版本,收集nginx日志,grafana进行展示_第11张图片

其他的,两个机器也是一样的,但是上面的name需要修改
elk7版本,收集nginx日志,grafana进行展示
其他的是k8s-node1和k8s-node2

完成都启动然后测试
elk7版本,收集nginx日志,grafana进行展示_第12张图片

上面说明我们的es已经搭建完成了,
安装一个es的插件用来展示elasticsearch-head-chrome-master,安装这个可以自己百度,但是下载之后需要修改
elk7版本,收集nginx日志,grafana进行展示_第13张图片
完成之后然后通过index.html就可以看到了

=============================================

接下来部署kibana
vim kibana.yml

elk7版本,收集nginx日志,grafana进行展示_第14张图片

elk7版本,收集nginx日志,grafana进行展示_第15张图片
elk7版本,收集nginx日志,grafana进行展示

启动kibana就可以了

elk7版本,收集nginx日志,grafana进行展示_第16张图片

=============================================

接下来部署logstash和nignx日志收集

logstash要和nginx在一台机器

logstash写nginx收集的配置文件
elk7版本,收集nginx日志,grafana进行展示_第17张图片

配置nginx
elk7版本,收集nginx日志,grafana进行展示_第18张图片
log_format main '{"@timestamp":"$time_iso8601",'br/>'"@source":"$server_addr",'
'"hostname":"$hostname",'
'"ip":"$remote_addr",'
'"client":"$remote_addr",'
'"request_method":"$request_method",'
'"scheme":"$scheme",'
'"domain":"$server_name",'
'"referer":"$http_referer",'
'"request":"$request_uri",'
'"args":"$args",'
'"size":$body_bytes_sent,'
'"status": $status,'
'"responsetime":$request_time,'
'"upstreamtime":"$upstream_response_time",'
'"upstreamaddr":"$upstream_addr",'
'"http_user_agent":"$http_user_agent",'
'"https":"$https"'
'}';
access_log /var/log/nginx/access_json.log main;

启动nginx就行了

在启动logstash

/home/elk/logstash-7.6.1/bin/logstash -f /home/elk/logstash-7.6.1/config/nginx_access.conf

指定启动的文件

完成之后看看es是否有了

elk7版本,收集nginx日志,grafana进行展示_第19张图片

kibana创建索引,一定是es当中有的不然会失败
elk7版本,收集nginx日志,grafana进行展示_第20张图片
elk7版本,收集nginx日志,grafana进行展示

我这里已经创建了所以提示,没有的话要创建

elk7版本,收集nginx日志,grafana进行展示_第21张图片

elk7版本,收集nginx日志,grafana进行展示_第22张图片
elk7版本,收集nginx日志,grafana进行展示_第23张图片

好了elk基本部署就完成了

===============================

接下来部署grafana

展示nginx访问情况

grafana安装自行百度
wget https://dl.grafana.com/oss/release/grafana-6.4.4-1.x86_64.rpm
yum install -y grafana-6.4.4-1.x86_64.rpm
grafana-cli plugins install grafana-worldmap-panel

grafana-cli plugins install grafana-piechart-panel 1.3.8

完成之后配置es数据源
elk7版本,收集nginx日志,grafana进行展示_第24张图片
完成之后导入模板
elk7版本,收集nginx日志,grafana进行展示_第25张图片

导入之后需要修改一下
elk7版本,收集nginx日志,grafana进行展示_第26张图片
内容都去掉就可以了
elk7版本,收集nginx日志,grafana进行展示_第27张图片
elk7版本,收集nginx日志,grafana进行展示_第28张图片
elk7版本,收集nginx日志,grafana进行展示_第29张图片

好了基本就完事了