一、elk 概念
ELK是 Elasticsearch、Logstash、Kibana的简称，这三者是核心套件，但并非全部。
Elasticsearch：实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能。Elasticsearch是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。
Logstash：用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志，这些来源包括 syslog、消息传递（例如 RabbitMQ）和JMX，它能够以多种方式输出数据，包括电子邮件、websockets和Elasticsearch。
Kibana：基于Web的可视化图形界面，用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据。它利用Elasticsearch的REST接口来检索数据，不仅允许用户创建他们自己的数据的定制仪表板视图，还允许他们以特殊的方式查询和过滤数据。
二、docker 安装 elk
1、拉镜像，运行
docker pull sebp/elk
docker run -d -it --name elk --restart always -p 5601:5601 -p 9200:9200 -p 5044:5044 -e ES_MIN_MEM=128m -e ES_MAX_MEM=2048m sebp/elk
5601 - Kibana web 接口
9200 - Elasticsearch JSON 接口
5044 - Logstash 日志接收接口
logstash有多种接受数据的方式，这里使用logback直接通过tcp的方式发送日志到logstash，还可以使用redis作为消息队列对日志数据做一个中转。
2、elasticsearch 报错解决
elasticsearch启动时可能遇到错误，报 elasticsearch用户拥有的内存权限太小，至少需要262144。
解决方法：
sysctl -w vm.max_map_count=262144
查看结果：
sysctl -a|grep vm.max_map_count，显示 vm.max_map_count = 262144
上述方法修改之后，如果重启虚拟机将失效。可以在 /etc/sysctl.conf文件最后添加一行
vm.max_map_count=262144，即可永久修改。
三、配置elk采集日志（tcp方式）
1、配置 tcp方式发送日志
在服务的pom.xml中添加依赖
<dependency> <groupId>net.logstash.logbackgroupId> <artifactId>logstash-logback-encoderartifactId> dependency>
在 logback-spring.xml中添加 appender，发送日志到 logstash
<springProperty scope="context" name="springAppName" source="spring.application.name"/> <appender name="logstash" class="net.logstash.logback.appender.LogstashTcpSocketAppender"> <destination>192.168.0.6:5044destination> <encoder class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder"> <providers> <timestamp> <timeZone>UTCtimeZone> timestamp> <pattern> <pattern> { "severity": "%level", "service": "${springAppName:-}", "trace": "%X{X-B3-TraceId:-}", "span": "%X{X-B3-SpanId:-}", "exportable": "%X{X-Span-Export:-}", "pid": "${PID:-}", "thread": "%thread", "class": "%logger{40}", "rest": "%message" } pattern> pattern> providers> encoder> appender> <root level="INFO"> <appender-ref ref="STDOUT" /> <appender-ref ref="FILE"/> <appender-ref ref="logstash" /> root>
2、配置 logstash 发送日志到 elasticsearch
由于 sebp/elk 中 logstash 的 input 默认采用 filebeat，这里采用tcp方式，所以首先需要进入elk容器中修改 input 的方式为 tcp。logstash默认会使用 etc/logstash/conf.d/ 中的配置文件。
启动elk，进入容器：
#docker exec -it elk /bin/bash
进入 /etc/logstash/conf.d/ 配置目录，修改 02-beats-input.conf 配置文件如下：
input {
tcp {
port => 5044
codec => json_lines
}
}
output {
elasticsearch {
hosts => ["localhost:9200"]
}
}
修改完成后退出，重启 elk 容器
#docker restart elk
3、配置kibana
启动服务，日志就被发送到 logstash中了，访问 localhost:5601 进入 kibana 界面。
配置 index pattern，点击 Management ——> Index Patterns ——> Create index pattern
下面列出了两个可选的index pattern，输入logstash*，下一步。选择时间@timestamp，这样数据展示会以时间排序。
最后，在kabina 首页查看采集到的日志
