ELK简介
ELK是Elasticsearch+Logstash+Kibana简称
Elasticsearch 是一个分布式的搜索和分析引擎,可以用于全文检索、结构化检索和分析,并能将这三者结合起来。Elasticsearch 基于 Lucene 开发,现在是使用最广的开源搜索引擎之一。
Logstash 简单来说就是一根具备实时数据传输能力的管道,负责将数据信息从管道的输入端传输到管道的输出端,与此同时这根管道还可以让你根据自己的需求在中间加上滤网,Logstash提供了很多功能强大的滤网以满足你的各种应用场景。
Kibana 是一个开源的分析与可视化平台,设计出来用于和Elasticsearch一起使用的。你可以用kibana搜索、查看、交互存放在Elasticsearch索引里的数据,使用各种不同的图标、表格、地图等,kibana能够很轻易的展示高级数据分析与可视化。
ELK下载安装
可以去官网分别下载安装:https://www.elastic.co/downlo...
需要提前安装JDK1.8,这里我是在windows上操作。
Elasticsearch安装启动
如图,下载Elasticsearch并解压
config/elasticsearch.yml配置文件,修改配置(也是默认配置,可以不做修改)
network.host=localhost
network.port=9200
sticsearch.bat,启动成功,访问localhost:9200
{
"name" : "cTP-_7z",
"cluster_name" : "elasticsearch",
"cluster_uuid" : "6tnImaw3RyKHlErGQrtuvw",
"version" : {
"number" : "6.3.1",
"build_flavor" : "default",
"build_type" : "zip",
"build_hash" : "eb782d0",
"build_date" : "2018-06-29T21:59:26.107521Z",
"build_snapshot" : false,
"lucene_version" : "7.3.1",
"minimum_wire_compatibility_version" : "5.6.0",
"minimum_index_compatibility_version" : "5.0.0"
},
"tagline" : "You Know, for Search"
}
logstash安装启动
如图,下载Logstash并解压
bin目录下新建配置log4j_to_es.conf
input {
tcp {
##host:port就是上面appender中的 destination,这里其实把logstash作为服务,开启8080端口接收logback发出的消息
host => "localhost"
port => 8080
#模式选择为server
mode => "server"
tags => ["tags"]
##格式json
codec => json_lines
}
}
output {
elasticsearch {
#ES地址
hosts => "127.0.0.1:9200"
#指定索引名字
index => "applog"
}
stdout { codec => rubydebug}
}
新建文件run_default.bat
logstash -f log4j_to_es.conf
保存直接双击该配置文件,启动成功,控制台输出如下:
访问localhost:9600:
{"host":"LAPTOP-MJ88A0EI","version":"6.3.1","http_address":"127.0.0.1:9600","id":"a0fe5a6f-e35d-4c5f-8b87-24344a928239","name":"LAPTOP-MJ88A0EI","build_date":"2018-06-29T22:43:59Z","build_sha":"b79493047db01afca1e11c856fe8538d7ecb5787","build_snapshot":false}
Kibana安装启动
如图,下载Kibana并解压
这里,直接默认配置即可,bin/kibana.bat双击运行,启动成功,访问localhost:5601
至此,软件启动完毕!
创建SpringBoot项目,pom.xml文件如下:
4.0.0
com.zm.elk
elk
0.0.1-SNAPSHOT
jar
elk
org.springframework.boot
spring-boot-starter-parent
2.0.3.RELEASE
UTF-8
UTF-8
1.8
org.springframework.boot
spring-boot-starter-web
org.springframework.boot
spring-boot-starter-test
test
org.springframework.boot
spring-boot-starter-log4j
1.3.8.RELEASE
net.logstash.logback
logstash-logback-encoder
4.9
org.springframework.boot
spring-boot-maven-plugin
log4j的配置如下:
log4j.rootLogger=INFO,console
# for package com.demo.elk, log would be sent to socket appender.
log4j.logger.com.forezp=DEBUG, socket
# appender socket
log4j.appender.socket=org.apache.log4j.net.SocketAppender
log4j.appender.socket.Port=4560
log4j.appender.socket.RemoteHost=localhost
log4j.appender.socket.layout=org.apache.log4j.PatternLayout
log4j.appender.socket.layout.ConversionPattern=%d [%-5p] [%l] %m%n
log4j.appender.socket.ReconnectionDelay=10000
# appender console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.out
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d [%-5p] [%l] %m%n
logback..xml配置如下:
localhost:8080
%d{HH:mm:ss.SSS} [%thread] %-5level %logger - %msg%n
目录结构如下:
log测试:
import org.junit.Before;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.test.context.junit4.SpringRunner;
@RunWith(SpringRunner.class)
@SpringBootTest
public class ElkApplicationTests {
// 定义一个全局的记录器,通过LoggerFactory获取
private final static Logger log = LoggerFactory.getLogger(Test.class);
@Before
public void setUp() {
}
@Test
public void test() {
log.trace("trace 成功了");
log.debug("debug 成功了");
log.info("info 成功了");
log.warn("warn 成功了");
log.error("error 成功了");
}
}
回到kibana上查看信息:
然后create index pattern
回到Discover
在右边就能看到具体的日志信息啦!!
还可以自己修改filter查看需要的信息,具体的自己可以捣鼓捣鼓玩玩。