Java配置10-配置ELK+Kafka集成

目录

1.服务器环境

2.各服务情况

3.配置集成

1)修改配置文件

2)重启logstash

3)验证


1.服务器环境

系统版本:Red Hat Enterprise Linux Server release 6.8

2.各服务情况

此服务器上安装了elk和kafka伪集群

Elk启动正常

Kafka伪集群启动正常

Elk与kafka的连接是由logstash的配置文件完成的,在此配置文件的input中配置kafka的信息;filter中配置过滤器的信息,以方便查看日志时进行筛选;output中则配置elasticsearch的信息。

3.配置集成

1)修改配置文件

切至logstash的安装目录的config目录

cd /home/elkuser/logstash-6.2.4/config

创建kafkas.conf文件

sudo vim kafkas.conf

Java配置10-配置ELK+Kafka集成_第1张图片

修改kafkas.conf,添加以下行:

input {

    kafka{

        bootstrap_servers => ["kafka的ip:port,若kafka是集群,使用逗号隔开"]

        client_id => "logback-kafka"

        auto_offset_reset => "latest"

        consumer_threads => 5

        decorate_events => true

        topics => ["test"]

        codec => "json"

    }

}

filter {

       grok {

              match => { "message" => "%{TIMESTAMP_ISO8601:timestamp}\s+%{LOGLEVEL:severity}\s+\[%{DATA:service},%{DATA:trace},%{DATA:span},%{DATA:exportable}\]\s+%{DATA:pid}\s+---\s+\[%{DATA:thread}\]\s+%{DATA:class}\s+:\s+%{GREEDYDATA:rest}" }

       }

}

output {

    elasticsearch {

        hosts => ["e的ip:port"]
        index => "XX(索引名)-%{+YYYY-MM-dd}"

    }

}

 

2)重启logstash

查看logstash进程号

ps -ef | grep logstash

杀死进程

sudo kill -9 进程号

Java配置10-配置ELK+Kafka集成_第2张图片

重启logstash

切至logstash的bin目录,执行命令:

sudo ./logstash -f ../config/kafkas.conf

启动成功后,执行命令:Ctrl+z,使服务进入后台运行,或直接使用后台运行方式启动logstash,命令:

sudo nohup ./logstash -f ../config/kafkas.conf &

Java配置10-配置ELK+Kafka集成_第3张图片

3)验证

登录kibana

路径:kibana的ip:port

点击Discover,出现kafka中的日志,证明配置成功

Java配置10-配置ELK+Kafka集成_第4张图片

你可能感兴趣的:(Java配置)