ELK日志分析系统

一、ELK简介

ELK是三个软件的统称，即Elasticsearch、Logstash和Kibana三个开源软件的缩写。这三款软件都是开源软件，通常配合使用，并且都先后归于Elastic.co企业名下，故被简称为ELK协议栈。ELK主要用于部署在企业架构中，收集多台设备上多个服务的日志信息，并将其统一整合后提供给用户。它可以从任何来源、任何格式进行日志搜索、分析与可视化展示。

1、ELK各个组件

ElasticSearch：
是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。

Elasticsearch 是用 Java 开发的，可通过 RESTful Web 接口，让用户可以通过浏览器与Elasticsearch 通信。

Elasticsearch是一个实时的、分布式的可扩展的搜索引擎，允许进行全文、结构化搜索，它通常用于索引和搜索大容量的日志数据，也可用于搜索许多不同类型的文档。

Kiabana：
Kibana 通常与 Elasticsearch 一起部署，Kibana 是 Elasticsearch 的一个功能强大的数据可视化 Dashboard，Kibana 提供图形化的 web 界面来浏览 Elasticsearch 日志数据，可以用来汇总、分析和搜索重要数据。

Logstash：
作为数据收集引擎。它支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储到用户指定的位置,一般会发送给 Elasticsearch。

Logstash 由 Ruby 语言编写，运行在 Java 虚拟机（JVM）上，是一款强大的数据处理工具， 可以实现数据传输、格式处理、格式化输出。Logstash 具有强大的插件功能，常用于日志处理。

Filebeat：
轻量级的开源日志文件数据搜集器。通常在需要采集数据的客户端安装 Filebeat，并指定目录与日志格式Filebeat 就能快速收集数据，并发送给 logstash 进行解析，或是直接发给 Elasticsearch 存储，性能上相比运行于 JVM 上的 logstash 优势明显，是对它的替代。常应用于 EFLK 架构当中。（如果要使用过滤功能的话，Filebeat不能完全替代logstash，Filebeat没有过滤功能，收集数据后需要发送给 logstash 进行处理）。

Filebeat结合logstash好处：

通过 Logstash 具有基于磁盘的自适应缓冲系统，该系统将吸收传入的吞吐量，从而减轻 Elasticsearch 持续写入数据的压力。

从其他数据源（例如数据库，S3对象存储或消息传递队列）中提取。

将数据发送到多个目的地，例如S3，HDFS（Hadoop分布式文件系统）或写入文件。

使用条件数据流逻辑组成更复杂的处理管道。

2、为什么要是用ELK？

日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。

往往单台机器的日志我们使用grep、awk等工具就能基本实现简单分析，但是当日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的syslog，将所有服务器上的日志收集汇总。集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用 grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。

一般大型系统是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时，大部分情况需要根据问题暴露的关键信息，定位到具体的服务器和服务模块，构建一套集中式日志系统，可以提高定位问题的效率。

二、完整日志系统基本特征

收集： 能够采集多种来源的日志数据。

传输： 能够稳定的把日志数据解析过滤并传输到存储系统。

存储： 存储日志数据。

分析： 支持 UI 分析。

警告： 能够提供错误报告，监控机制。

三、ELK工作原理

（1）在所有需要收集日志的服务器上部署Logstash；或者先将日志进行集中化管理在日志服务器上，在日志服务器上部Logstash。

（2）Logstash 收集日志，将日志格式化并输出到 Elasticsearch 群集中。

（3）Elasticsearch 对格式化后的数据进行索引和存储。

（4）Kibana 从 ES 群集中查询数据生成图表，并进行前端数据的展示。

总结：logstash作为日志收集器，从数据源采集数据，并对数据进行过滤，格式化处理，然后交由Elasticsearch存储，kibana对日志进行可视化处理。

四、部署集群ELK（在Node1节点操作）

Elasticsearch下载地址：https://www.elastic.co/cn/downloads/past-releases/elasticsearch-5-5-0

环境准备

node1：192.168.10.130

node2：192.168.10.132

Apache：192.168.10.133

实验图示：

更改主机名、配置域名解析、查看java环境

实验步骤：

关闭所有节点的防火墙 核心防护

[root@localhost ~]#setenforce 0
setenforce: SELinux is disabled
[root@localhost ~]#systemctl stop firewalld

1、Elasticsearch部署安装

[root@node1 opt]#ls    #上传软件包
elasticsearch-5.5.0.rpm  rh
[root@node1 opt]#rpm -ivh elasticsearch-5.5.0.rpm   #安装Elasticsearch
[root@node1 opt]#cd /etc/elasticsearch/    
[root@node1 elasticsearch]#cp elasticsearch.yml elasticsearch.yml.bak   #备份配置文件
[root@node1 elasticsearch]#systemctl daemon-reload  #加载配置文件
[root@node1 elasticsearch]#systemctl enable elasticsearch.service   #设置开机自启动

2、配置Elasticsearch的主配置文件

[root@node1 elasticsearch]#vim elasticsearch.yml
--17--取消注释，指定集群名字
cluster.name: my-elk-cluster
--23--取消注释，指定节点名字：Node1节点为node1，Node2节点为node2
node.name: node1
--33--取消注释，指定数据存放路径
path.data: /data/elk_data
--37--取消注释，指定日志存放路径
path.logs: /var/log/elasticsearch/
--43--取消注释，改为在启动的时候不锁定内存
bootstrap.memory_lock: false
--55--取消注释，设置监听地址，0.0.0.0代表所有地址
network.host: 0.0.0.0
--59--取消注释，ES 服务的默认监听端口为9200
http.port: 9200
--68--取消注释，集群发现通过单播实现，指定要发现的节点 node1、node2
discovery.zen.ping.unicast.hosts: ["node1", "node2"]

[root@node1 elasticsearch]#grep -v "^#" /etc/elasticsearch/elasticsearch.yml
#过滤除有效的配置行

3、创建数据存放路径

[root@node1 elasticsearch]#mkdir -p /data/elk_data  #创建数据存放路径
[root@node1 elasticsearch]#chown elasticsearch:elasticsearch /data/elk_data/
[root@node1 elasticsearch]#systemctl start elasticsearch  #开启服务
[root@node1 elasticsearch]#ss -natp | grep 9200  #查看服务是否开启
LISTEN     0      128         :::9200                    :::*                   users:(("java",pid=5613,fd=170))
[root@node1 elasticsearch]#

4、查看node1节点信息

五、Elasticsearch部署安装（Node2节点操作）

这里跟node1步骤一样

1、在node1节点上的配置文件传到node2上

[root@node1 elasticsearch]#scp elasticsearch.yml 192.168.10.132:/etc/elasticsearch/
[email protected]'s password:
elasticsearch.yml                      

2、修改Elasticsearch配置文件

[root@node2 elasticsearch]# cp elasticsearch.yml elasticsearch.yml.bak
[root@node2 elasticsearch]# grep -v "^#" /etc/elasticsearch/elasticsearch.yml

3、创建存放数据的路径

[root@node2 elasticsearch]# mkdir -p /data/elk_data
[root@node2 elasticsearch]# chown elasticsearch:elasticsearch /data//elk_data/
[root@node2 elasticsearch]# systemctl daemon-reload
[root@node2 elasticsearch]# systemctl enable elasticsearch.service

4、查看node2节点信息

六、安装插件

1、编译安装node

[root@node1 elasticsearch]#cd /opt/   
[root@node1 opt]#tar zxf node-v8.2.1.tar.gz   #解压
[root@node1 opt]#yum install gcc gcc-c++ make -y  #安装依赖环境
[root@node1 node-v8.2.1]#make && make install  #编译安装

2、安装 phantomjs

[root@node1 node-v8.2.1]#cd /opt/
[root@node1 opt]#tar jxf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/
[root@node1 opt]#ls
elasticsearch-5.5.0.rpm  node-v8.2.1  node-v8.2.1.tar.gz  phantomjs-2.1.1-linux-x86_64.tar.bz2  rh
[root@node1 opt]#cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin/
[root@node1 bin]#cp phantomjs /usr/local/bin
[root@node1 bin]#

3、安装 Elasticsearch-head 数据可视化工具

[root@node1 elasticsearch]#cd /opt/
[root@node1 opt]#tar zxf elasticsearch-head.tar.gz -C /usr/local/src/
[root@node1 opt]#cd /usr/local/src/elasticsearch-head/
[root@node1 elasticsearch-head]#npm install

4、修改 Elasticsearch 主配置文件

[root@node1 elasticsearch-head]#vim /etc/elasticsearch/elasticsearch.yml

http.cors.enabled:true
http.cors.allow-origin: "*"

[root@node1 elasticsearch-head]#systemctl restart elasticsearch

5、启动 elasticsearch-head 服务

[root@node1 opt]#cd /usr/local/src/elasticsearch-head/
[root@node1 elasticsearch-head]#npm run start &
[1] 53110

6、通过 Elasticsearch-head 查看 Elasticsearch 信息

浏览器访问 http://192.168.10.130/9100地址并连接群集。如果看到群集健康值为 green 绿色，代表群集很健康。

7、插入索引，进行测试

[root@node1 elasticsearch-head]#curl -X PUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'

七、ELK Logstash 部署（在 Apache 节点上操作）

Logstash 一般部署在需要监控其日志的服务器。在本案例中，Logstash 部署在 Apache 服务器上，用于收集 Apache 服务器的日志信息并发送到 Elasticsearch。

下载地址：https://www.elastic.co/cn/downloads/past-releases/logstash-5-5-1

1、安装Apache

[root@localhost ~]#hostname Apahce
[root@Apahce ~]#setenforce 0
setenforce: SELinux is disabled
[root@Apahce ~]#systemctl stop firewalld
[root@Apahce ~]#yum install  -y httpd

2、安装java环境

[root@Apahce ~]#yum install java -y   #安装java环境
[root@Apahce ~]#java -version   #查看版本

3、安装logstash

[root@Apahce ~]#cd /opt/
[root@Apahce opt]#rpm -ivh logstash-5.5.1.rpm       #安装logstash
[root@Apahce opt]#systemctl start logstash.service  #启动服务
[root@Apahce opt]#systemctl enable logstash.service  #开机自启
[root@Apahce opt]#ln -s /usr/share/logstash/bin/logstash /usr/local/bin/

4、测试logstash

Logstash 命令常用选项：

-f：通过这个选项可以指定 Logstash 的配置文件，根据配置文件配置 Logstash 的输入和输出流。

-e：从命令行中获取，输入、输出后面跟着字符串，该字符串可以被当作 Logstash 的配置（如果是空，则默认使用 stdin 作为输入，stdout 作为输出）。

-t：测试配置文件是否正确，然后退出。

（1）定义输入输出流

输入采用标准输入，输出采用标准输出（类似管道）
指定数据输入端口，默认为9600~9700

[root@Apahce opt]#logstash -e 'input { stdin{} } output { stdout{} }'

（2）使用 rubydebug 输出详细格式显示，codec 为一种编解码器

[root@Apahce opt]#logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'

（3）使用 Logstash 将信息写入 Elasticsearch 中

[root@Apahce opt]#logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.10.130:9200"] } }'

5、定义 logstash配置文件

Logstash 配置文件基本由三部分组成（根据需要选择使用）

input：表示从数据源采集数据，常见的数据源如Kafka、日志文件等

filter：表示数据处理层，包括对数据进行格式化处理、数据类型转换、数据过滤等，支持正则表达式

output：表示将Logstash收集的数据经由过滤器处理之后输出到Elasticsearch。

修改 Logstash 配置文件，让其收集系统日志/var/log/messages，并将其输出到 elasticsearch 中

[root@Apahce opt]#ll /var/log/messages
-rw------- 1 root root 873362 4月   6 21:41 /var/log/messages
[root@Apahce opt]#chmod +r /var/log/messages  #让 Logstash 可以读取日志
[root@Apahce opt]#

[root@Apahce opt]#cd /etc/logstash/conf.d/
[root@Apahce conf.d]#vim syslog.conf
input {
    file{
        path =>"/var/log/messages"     #指定收集的日志位置
        type =>"system"                #自定义日志类型
        start_position =>"beginning"   #表示从开始处收集
   }

}
output {
    elasticsearch {                      #输出Elasticsearch
       hosts => ["192.168.10.130:9200"]  #指定Elasticsearch服务器的地址和端口
       index =>"system-%{+YYYY.MM.dd}"   #指定输出Elasticsearch的索引格式
}
}
[root@Apahce conf.d]#systemctl restart logstash

6、浏览器验证，查看索引

八、Kibana部署（Node1节点）

下载地址：https://www.elastic.co/cn/downloads/past-releases/kibana-5-5-1

1、安装 Kibana

[root@node1 elasticsearch-head]#cd /opt/
[root@node1 opt]#rpm -ivh kibana-5.5.1-x86_64.rpm

2、设置kibana的主配置文件

[root@node1 opt]#vim /etc/kibana/kibana.yml

--2--取消注释，Kiabana 服务的默认监听端口为5601
server.port: 5601
--7--取消注释，设置 Kiabana 的监听地址，0.0.0.0代表所有地址
server.host: "0.0.0.0"
--21--取消注释，设置和 Elasticsearch 建立连接的地址和端口
elasticsearch.url: "http://192.168.10.130:9200" 
--30--取消注释，设置在 elasticsearch 中添加.kibana索引
kibana.index: ".kibana"

3、启动kibana服务

[root@node1 opt]#systemctl daemon-reload
[root@node1 opt]#systemctl start kibana.service
[root@node1 opt]#systemctl enable kibana.service
[root@node1 opt]#ss -natp | grep 5601
LISTEN     0      128          *:5601                     *:*                   users:(("node",pid=56020,fd=11))

4、验证Kibana

浏览器访问http://192.168.10.130:5601

5、将 Apache 服务器的日志（访问的、错误的）添加到 Elasticsearch 并通过 Kibana 显示（在客户端上操作）

[root@Apahce ~]#vim /etc/logstash/conf.d/apache_log.conf

input {
    file{
        path => "/etc/httpd/logs/access_log" #apache服务的访问日志路径
        type => "access"  #访问日志
        start_position => "beginning"  #从头开始
    }
    file{
        path => "/etc/httpd/logs/error_log" #apache服务的错误日志路径
        type => "error"  #错误日志
        start_position => "beginning" #开始位置从头开始
    }
}
output {
    if [type] == "access" { 判断类型为访问日志
        elasticsearch {
            hosts => ["192.168.10.130:9200"] #指定与es建立连接的ip
            index => "apache_access-%{+YYYY.MM.dd}" #索引为apache_access日期
        }
    }
	if [type] == "error" {  判断类型为错误
        elasticsearch {
            hosts => ["192.168.10.130:9200"]
            index => "apache_error-%{+YYYY.MM.dd}"
        }
    }
}

[root@Apahce ~]#cd /etc/logstash/conf.d/
[root@Apahce conf.d]#/usr/share/logstash/bin/logstash -f apache_log.conf

浏览器访问 http://192.168.10.130:9100 查看索引是否创建