前言：
（1）安装测试环境 centos7
（2）elk是Elasticsearch , Logstach,Kibana 开源软件的集合,对外是作为一个日志管理系统的开源方案。它可以从任何来源，任何格式进行日志搜索，分析获取数据，并实时进行展示
(3)基本软件作用
1.Filebeat ：监控日志文件，转发，获取制定路径的日志文件，传输日志文件给Logstash,或者也可以先给到kafka,然后在到Logstash;
2.Logstash：日志收集，管理，存储，转发日志给Elasticsearch进行处理
3.Elasticsearch：搜索，提供分布式全文搜索引擎，搜索是实时进行处理的，对数据进行索引和聚合
4.Kibana：日志的过滤web 展示，图形界面化操作日志
一、下载安装Filebeat
1、下载地址：(https://www.elastic.co/downloads/beats/filebeat)
2、通过tar -xvf 命令解压安装
3、修改配置文件，采集tomcat 服务器的日志文件
- type: log
# Change to true to enable this input configuration.
enabled: true
# Paths that should be crawled and fetched. Glob based paths.
paths:
- /usr/local/etc/tomcat9/logs/test_*.log
#- c:\programdata\elasticsearch\logs\*
fields:
log_topics: test
- type: log
enabled: true
paths :
- /usr/local/etc/tomcat9/logs/jut_*.log
fields:
log_topics: jut
output.kafka:
enabled: true
hosts: ["127.0.0.1:9092"]
topic: 'elk-%{[fields][log_topics]}'
1：- type:指定文件的输入类型log
2：paths: 指定采集日志路径
3：fields：向输出的每一条日志添加额外的信息，比如“level:debug”，方便后续对日志进行分组统计,在kibana 看到的内容就会有 fields:{
"level":"debug"}
4： output.kafka: 配置的是将日志先输入到kafka 中
4、启动Filebeat，由于日志会采集到kafka 中，所以要先启动kafka,然后在启动Filebeat
./filebeat -e -c filebeat.yml -d "publish"
5、启动成功后可以看到已经采集了日志信息，包括添加的fields 也包含在内，自此Filebeat 已经配置完成
二、安装Logstash
1、下载，解压 Logstash
2、配置logstash.conf 文件
宏观的配置文件内容格式如下：
# 输入
input { ...
}
# 过滤器
filter {...
}
# 输出
output { ...
}
由于日志采集到了kafka 这里以kafka 作为输入，输出到elasticsearch (index 是作为Kibana 的索引),过滤这块没做研究，可以暂时省略
input {
kafka {
bootstrap_servers => "127.0.0.1:9092"
#topic id
topics =>["elk-test"]
codec => "json"
}
}
filter {
grok {
match => { "message" => "%{COMBINEDAPACHELOG}"}
}
geoip {
source => "clientip"
}
}
output{
elasticsearch{
hosts => ["127.0.0.1:9200"]
index => "kafka-%{+YYYY.MM.dd}"
}
}
4、退出保存，然后启动Logstash
bin/logstash -f logstash.conf
三、Elasticsearch 的安装
1、下载并解压Elasticsearch,附官网下载地址：（https://www.elastic.co/cn/downloads/elasticsearch）
2、进入bin 目录，启动Elasticsearch
./elasticsearch
四、Kibana的安装
Kibana是一个开源的分析和可视化平台，旨在与Elasticsearch一起工作。您使用Kibana搜索，查看和与存储在Elasticsearch索引中的数据进行交互。您可以轻松地在各种图表，表格和地图中执行高级数据分析和可视化数据。
1、Kibana 下载与解压，下载地址：https://www.elastic.co/downloads/kibana
2、修改配置文件
(1)将IP地址修改为0.0.0.0 表示全匹配
(2)指定要进行连接到的Elasticsearch
(3)启动Kibana
在bin目录下使用命令： ./kibana 启动：
(4) 访问Kinbana：http://ip:5601