EFK日志分析系统
这里写目录标题
- 一、EFK概述
-
- EFK简介
- 优缺点
- ES数据库
- Filebeat
- Kibana
- EFK扩展
- 二、部署ELK日志分析系统
-
- 案例拓扑图
- 需求描述
- 设备列表
- 准备安装环境
- 具体部署过程
- Nginx+Filebeat部署
-
- 1.部署Nginx
- 安装kibana(node1)
一、EFK概述
EFK简介
EFK 不是一个软件，而是一套解决方案。EFK 是三个开源软件的缩写，Elasticsearch，FileBeat，Kibana。其中 ELasticsearch 负责日志分析和存储，FileBeat 负责日志收集，Kibana 负责界面展示。它们之间互相配合使用，完美衔接，高效的满足了很多场合的应用，是目前主流的一种日志分析系统解决方案。
EFK 和 ELK 只有一个区别， 收集日志的组件由 Logstash 替换成了 FileBeat
优缺点
Filebeat 相对 Logstash 的优点：
- 侵入低，无需修改 elasticsearch 和 kibana 的配置；
- 性能高，IO 占用率比 logstash 小太多；
当然 Logstash 相比于 FileBeat 也有一定的优势，比如 Logstash 对于日志的格式化处理能力，FileBeat 只是将日志从日志文件中读取出来，当然如果收集的日志本身是有一定格式的，FileBeat 也可以格式化，但是相对于Logstash 来说，效果差很多。
ES数据库
Elasticsearch 是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful 风格接口，多数据源，自动搜索负载等。
Filebeat
Filebeat 隶属于 Beats。目前 Beats 包含六种工具：
- Packetbeat（搜集网络流量数据）
- Metricbeat（搜集系统、进程和文件系统级别的 CPU 和内存使用情况等数据）
- Filebeat（搜集文件数据）
- Winlogbeat（搜集 Windows 事件日志数据）
- Auditbeat（ 轻量型审计日志采集器）
- Heartbeat（轻量级服务器健康采集器）
Kibana
Kibana可以为 Logstash 、Beats和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助汇总、分析和搜索重要数据日志。
EFK扩展
另外，EFK 系统下的各个组件都非常吃内存，后期根据业务需要，EFK 的架构可进行扩展，当 FileBeat 收集的日志越来越多时，为防止数据丢失，可引入 Redis，而 ElasticSearch 也可扩展为集群，并使用 Head 插件进行管理， 所以要保证服务器有充足的运行内存和磁盘空间。
ps：曾经试图在只有 1 个 G 内存空间的阿里云服务器上搭建 一个最简易的 EFK 日志分析系统，结果是 Kibana 服务开启之后，Elasticsearch 服务就挂了，最后纠结了半天服务也起不起来。
二、部署ELK日志分析系统
案例拓扑图
需求描述
配置EFK日志分析群集
使用Filebeat
使用Kibana乍看分析日志
设备列表
| 主机 | 操作系统 | 主机名/IP地址 | 主要软件 |
|---|---|---|---|
| 服务器 | CentOS7.3 | Node1/192.168.91.10 | Elasticsearch、Kibana |
| 服务器 | CentOS7.3 | Node2/192.168.91.20 | Elasticsearch |
| 服务器 | CentOS7.3 | Apache/192.168.91.30 | Filebeat、Apache |
准备安装环境
关闭防火墙和Selinux
Node1、Node2节点内存分配4G，Apache节点分配1G内存
通过VMware虚拟网络Vmnet8网络连接
具体部署过程
###登录192.168.91.10 更改主机名 配置域名解析 查看Java环境###
[root@location ~]# hostnamectl set-hostname node1
[root@location ~]# su
[root@location ~]# java -version
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-b12)
OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)
[root@node1 ~]# systemctl stop firewalld
[root@node1 ~]# systemctl disable firewalld
[root@node1 ~]# setenforce 0
安装elasticsearch
[root@node1 ~]# vi /etc/hosts
192.168.91.10 node1
192.168.91.20 node2
[root@node1 ~]# cd /opt/elk
[root@node1 elk]# rpm -ivh elasticsearch-5.5.0.rpm
加载系统服务
[root@node1 elk]# systemctl daemon-reload
[root@node1 elk]# systemctl enable elasticsearch.service
修改ELasticsearch配置文件
[root@node1 elk]# cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak '//复制一份备份文件'
[root@node1 elk]# vim /etc/elasticsearch/elasticsearch.yml
17//cluster.name: my-elk-cluster '//集群名字---需相同'
23//node.name: node1 '//节点名字---跟主机名相同'
33//path.data: /data/elk_data '//数据存放位置'
37//path.logs: /var/log/elasticsearch/ '//日志存放路径'
43//bootstrap.memory_lock: false '//不在启动的时候锁定内存'
55//network.host: 0.0.0.0 '//提供服务绑定的IP地址,0.0.0.0代表所有地址'
59//http.port: 9200 '//监听端口为9200'
68//discovery.zen.ping.unicast.hosts: ["node1", "node2"] '//集群发现通过单播实现'
[root@node1 elk]# grep -v "^#" /etc/elasticsearch/elasticsearch.yml
cluster.name: my-elk-cluster
node.name: node1
path.data: /data/elk_data
path.logs: /var/log/elasticsearch/
bootstrap.memory_lock: false
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["node1", "node2"]
创建数据存放路径并授权
[root@node1 elk]# mkdir -p /data/elk_data
[root@node1 elk]# chown elasticsearch:elasticsearch /data/elk_data/
启动elasticsearch是否成功开启
[root@node1 elk]# systemctl start elasticsearch.service
[root@node1 elk]# netstat -anptu | grep 9200
tcp6 0 0 :::9200 :::* LISTEN 5715/java
查看节点信息，用真机192.168.91.10的浏览器打开http://192.168.91.10:9200/
{
"name" : "node1",
"cluster_name" : "my-elk-cluster",
"cluster_uuid" : "7BztY_8bQFSWHdrykRbTDw",
"version" : {
"number" : "5.5.0",
"build_hash" : "260387d",
"build_date" : "2017-06-30T23:16:05.735Z",
"build_snapshot" : false,
"lucene_version" : "6.6.0"
},
"tagline" : "You Know, for Search"
}
查看节点信息，用真机192.168.91.20的浏览器打开http://192.168.91.10:9200/
{
"name" : "node2",
"cluster_name" : "my-elk-cluster",
"cluster_uuid" : "7BztY_8bQFSWHdrykRbTDw",
"version" : {
"number" : "5.5.0",
"build_hash" : "260387d",
"build_date" : "2017-06-30T23:16:05.735Z",
"build_snapshot" : false,
"lucene_version" : "6.6.0"
},
"tagline" : "You Know, for Search"
}
集群检查健康与状态(node1、node2)
查看健康192.168.91.10:9200/_cluster/health?pretty
{
"cluster_name" : "my-elk-cluster",
"status" : "green",
"timed_out" : false,
"number_of_nodes" : 2,
"number_of_data_nodes" : 2,
"active_primary_shards" : 0,
"active_shards" : 0,
"relocating_shards" : 0,
"initializing_shards" : 0,
"unassigned_shards" : 0,
"delayed_unassigned_shards" : 0,
"number_of_pending_tasks" : 0,
"number_of_in_flight_fetch" : 0,
"task_max_waiting_in_queue_millis" : 0,
"active_shards_percent_as_number" : 100.0
}
查看状态192.168.91.10:9200/_cluster/state?pretty
{
"cluster_name" : "my-elk-cluster",
"version" : 6,
"state_uuid" : "ZUdJ3zl_SdGNvojaHfxifA",
"master_node" : "M6gRPmGTQZCsA3c4TjrMpQ",
"blocks" : { },
"nodes" : {
"fXvs7sVhTkKOLgqSCFt_bw" : {
"name" : "node1",
"ephemeral_id" : "1OsaMQvhTv6yacqF3o-3XA",
"transport_address" : "192.168.91.10:9300",
"attributes" : { }
},
"M6gRPmGTQZCsA3c4TjrMpQ" : {
"name" : "node2",
"ephemeral_id" : "em66iSy7QqGwEn25gZkOTg",
"transport_address" : "192.168.91.20:9300",
"attributes" : { }
}
},
"metadata" : {
"cluster_uuid" : "7BztY_8bQFSWHdrykRbTDw",
"templates" : { },
"indices" : { },
"index-graveyard" : {
"tombstones" : [ ]
}
},
"routing_table" : {
"indices" : { }
},
"routing_nodes" : {
"unassigned" : [ ],
"nodes" : {
"M6gRPmGTQZCsA3c4TjrMpQ" : [ ],
"fXvs7sVhTkKOLgqSCFt_bw" : [ ]
}
}
}
安装node组件依赖包(node1、node2)
[root@node1 ~]# cd /opt/elk/
[root@node1 elk]# yum -y install gcc gcc-c++
[root@node1 elk]# tar zxvf node-v8.2.1.tar.gz
[root@node1 elk]# cd node-v8.2.1/
[root@node1 node-v8.2.1]# ./configure
[root@node1 node-v8.2.1]# make -j3
[[email protected]]# make install
安装phantomjs前端框架(node1、node2)
[root@node1 ~]# cd /opt/elk/
[root@node1 elk]# tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src
[root@node1 elk]# cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin
[root@node1 bin]# cp phantomjs /usr/local/bin
安装Elasticsearch-head数据可视化工具(node1、node2)
[root@node1 ~]# cd /opt/elk/
[root@node1 elk]# tar zxvf elasticsearch-head.tar.gz -C /usr/local/src/
[root@node1 elk]# cd /usr/local/src/elasticsearch-head/
[root@node1 elasticsearch-head]# npm install
修改Elasticsearch主配置文件(node1、node2)
[root@node1 elasticsearch-head]# vim /etc/elasticsearch/elasticsearch.yml
...
http.cors.enabled: true '//开启跨域访问支持,默认为false'
http.cors.allow-origin: "*" '//跨域访问允许的域名地址'
[root@node1 elasticsearch-head]# systemctl restart elasticsearch
启动Elasticsearch-head 启动服务器(node1、node2)
[root@node1 ~]# cd /usr/local/src/elasticsearch-head/
[root@node1 elasticsearch-head]# npm run start & '//切换到后台运行'
[1] 59396
[root@node1 elasticsearch-head]#
> [email protected] start /usr/local/src/elasticsearch-head
> grunt server
Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100
[root@node1 elasticsearch-head]# netstat -antp | grep 9200
[root@node1 elasticsearch-head]# netstat -antp | grep 9100
真机浏览器输入20.0.0.10:9100、20.0.0.20:9100
在location处输入http://192.168.91.10:9200/可以看到群集健康状态是绿色的，以及两个节点
新建索引
加粗的是主文件的，细框的是备份文件，不论哪个节点宕机，存储都不会丢失，很安全，一个节点有五个分片，两个节点共10个分片d
测试
#192.168.91.10
#插入一个数据进行测试
[root@node1 ~]# curl -XPUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type:application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
{
"_index" : "index-demo",
"_type" : "test",
"_id" : "1",
"_version" : 1,
"result" : "created",
"_shards" : {
"total" : 2,
"successful" : 2,
"failed" : 0
},
"created" : true
}
刷新一下，可以看到存储的分片处理与备份，暂时不存在节点间的主备关系。
Nginx+Filebeat部署
更改主机名及关闭防火墙
[root@nginx ~]# hostnamectl set-hostname nginx
#关闭防火墙与核心防护
[root@nginx ~]# setenforce 0
[root@nginx ~]# systemctl stop firewalld
1.部署Nginx
1.解压跨平台组件包和源码包
将跨平台组件包移动到源码包/opt目录下
nginx-1.12.2.tar.gz
```shell
[root@nginx ~]# cd /opt
[root@nginx opt]# tar xzvf nginx-1.12.2.tar.gz
2.安装编译器和其他工具
[root@nginx opt]# yum -y install gcc \
gcc-c++ \
make \
pcre-devel \
expat-devel \
perl \
zlib-devel \
pcre
3.configure配置
[root@nginx opt]# cd nginx-1.12.2
[root@nginx nginx-1.12.2]# ./configure \
--prefix=/usr/local/nginx \
--user=nginx \
--group=nginx \
--with-http_stub_status_module
4.编译安装
[root@nginx ~]# make && make install
为了使Nginx服务器的运行更加方便，可以为主程序nginx创建链接文件，以便管理员直接执行“nginx”命令就可以调用Nginx的主程序
[root@nginx ~]# ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/
6.创建运行用户，组
[root@nginx ~]# useradd -M -s /sbin/nologin nginx
7.开启nginx，关闭防火墙
[root@nginx ~]# systemctl stop firewalld.service
[root@nginx ~]# setenforce 0
[root@nginx ~]# nginx
[root@nginx ~]# netstat -ntap |grep 80
tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN 5396/nginx: master
tcp 0 0 192.168.197.192:56680 192.168.100.3:445 ESTABLISHED
###2.部署filebeat环境
解压
[root@nginx opt]# tar -zxvf filebeat-7.0.1-linux-x86_64.tar.gz
[root@nginx opt]# mv filebeat-7.0.1-linux-x86_64 /usr/local/filebeat
编辑配置文件
[root@nginx ~]# cd /usr/local/filebeat
[root@nginx filebeat]# vim filebeat.yml
filebeat.inputs:
- type: log
enabled: true
paths:
- /usr/local/nginx/logs/*.log
setup.kibana:
host: "localhost:5601"
output.elasticsearch:
hosts: ["localhost:9200"]
后台启动 filebeat
[root@nginx filebeat]# nohup ./filebeat -c filebeat.yml &
安装kibana(node1)
安装kibana
上传软件包到/opt/目录下
[root@node1 ~]# cd /opt/elk
[root@node1 elk]# rpm -ivh kibana-5.5.1-x86_64.rpm '//安装rpm包'
[root@node1 elk]# cd /etc/kibana/
[root@node1 kibana]# cp -p kibana.yml kibana.yml.bak '//备份'
[root@node1 kibana]# vim /etc/kibana/kibana.yml
2//server.port: 5601 '//打开kibana端口'
7//server.host: "0.0.0.0" '//kibana监听地址---监听所有'
21//elasticsearch.url: "http://主节点IP:9200" '//与elasticsearch建立连接'
30//kibana.index: ".kibana" '//在elasticsearch中添加.kibana索引---测试使用'
[root@node1 kibana]# systemctl start kibana.service '//启动kibana服务'
[root@node1 kibana]# systemctl enable kibana.service '//设置开机自启'
[root@node1 kibana]# nohup ./kibana &n '//后台启动'
访问192.168.91.10:5601进行查看视图
Discover里查看日志，图表式显示
