ELK简介
ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。
Elasticsearch：是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。
Logstash：主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。一般工作方式为c/s架构，client端安装在需要收集日志的主机上，server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。
Kibana：也是一个开源和免费的工具，Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助汇总、分析和搜索重要数据日志。
环境
1、jdk8
2、elasticsearch-6.4.2.tar.gz 地址：https://www.elastic.co/downloads/elasticsearch
3、logstash-6.4.2.tar.gz 地址：https://www.elastic.co/downloads/logstash
4、kibana-6.4.2-linux-x86_64.tar.gz 地址：https://www.elastic.co/downloads/kibana
一、部署+配置ELK
安装 jdk
linux 如何安装 jdk1.8 可参照其他网友贡献的文档 https://blog.csdn.net/qq250782929/article/details/51603276
配置 jdk 环境变量
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_31
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH
source /etc/profile 配置环境变量升效
安装 elasticsearch
elasticsearch 不能用root账户启动，因此，需要增加一个账户es
useradd -m es
passwd es
es
root# tar -xvf elasticsearch-6.4.2.tar.gz
root# cp -rf elasticsearch-6.4.2 /home/es
root# chown -R es.es /home/es/elasticsearch-6.4.2
es$ nohup /home/es/elasticsearch-6.4.2/bin/elasticsearch &
启动过程遇到下问题
`[1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]
`[2]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
请参照网友提供的解决方案：
https://blog.csdn.net/feinifi/article/details/73633235?utm_source=itdadao&utm_medium=referral
`[3]: max number of threads [3895] for user [elk] is too low, increase to at least [4096]
修改/etc/security/limits.conf文件，添加或修改如下行：
* hard nproc 4096
* soft nproc 4096
重新启动
es$ nohup /home/es/elasticsearch-6.4.2/bin/elasticsearch &
更多elasticsearch配置
https://www.elastic.co/guide/en/elasticsearch/reference/current/logging.html
安装 logstash
useradd -m elk
passwd elk
elk
root# tar -zxvf logstash-6.1.0.tar.gz
root# cp -rf logstash-6.1.0/home/elk
root# chown -R elk.elk /home/elk/logstash-6.1.0
elk$ touch /home/elk/logstash-6.1.0/config/logstash-simple.conf
elk$ ./bin/logstash -f ./config/logstash-simple.conf
在config 下配置一个simple.conf配置文件
input {
tcp {
mode => "server"
host => "本机ip"
port => 9250
}
stdin {}
}
filter {
}
output {
elasticsearch {
action => "index"
hosts => "ip:9200"
index => "logstash-demo"
}
stdout {
codec => rubydebug
}
}
安装 kinbana
使用命令解压（根据自己的文件名称进行解压）：
tar -zxvf kibana-6.4.2-linux-x86_64.tar.gz
修改配置文件:
cd /kibana/kibana-6.4.2-linux-x86_64/config/kibana.yml
【修改标注的这三个参数即可】
server.port: 5601 端口
server.host: （linux对应的ip地址）
elasticsearch.url: "http://xxx.xxx.xxx.xxx:9200"（根据es配置地址和端口进行配置）
启动：返回解压后
cd /kibana/kibana-6.4.2-linux-x86_64/bin
执行：
./kibana //不能关闭终端
nohup ./kibana > /nohub.out & //可关闭终端，在nohup.out中查看log
备注：如果不能正常访问则使用firewall开放linux端口
1、执行如下命令命令：firewall-cmd --zone=public --add-port=5601/tcp --permanent
2、重启防火墙，运行命令：firewall-cmd --reload
3、查看端口号是否开启，运行命令：firewall-cmd --query-port=5601/tcp
如何在Logback.xml中集成logstash
1、在pom文件中引入jar包
org.springframework.boot
spring-boot-starter-parent
2.0.5.RELEASE
net.logstash.logback
logstash-logback-encoder
5.2
2、在logback-spring.xml中配置
INFO
${CONSOLE_LOG_PATTERN}
System.err
${CONSOLE_LOG_PATTERN}
INFO
{
"severity": "%level",
"service": "${springAppName:-}",
"trace": "%X{X-B3-TraceId:-}",
"span": "%X{X-B3-SpanId:-}",
"exportable": "%X{X-Span-Export:-}",
"pid": "${PID:-}",
"thread": "%thread",
"class": "%logger{40}",
"message": "%message"
}
topic-logback
bootstrap.servers=ip:9092
注意：配置文件中的
配置完成后启动
1、启动elk：elasticsearch -> logstash -> kibana 必须根据启动顺序进行启动
2、测试发送日志
推荐阅读：
Spring Security系列教程