Elasticsearch+Logstash+Kibana配置手册

Elasticsearch+Logstash+Kibana配置

1.elasticsearch配置

修改config/elasticsearch.yml，修改节点名和主机ip地址：

node.name: edu-zk-01
network.host: 0.0.0.0

2.logstash配置

2.1.修改config/logstash.yml文件

http.host: "本机ip"

2.2.在logstash的安装目录下新建一个名为logstash.conf的文件，命名随意

在此文件中添加logstash的input、filter以及output
举例说明如下：
如果我的日志记录如下这样，日志输入从kafka中获取，通过filter的grok正则表达式解析出日志中的每个字段，输入到elasticsearch中

[2018-01-02 10:13:21] [51] [5ea00eb5-f209-4605-afdb-3123fef613eb] [INFO ] c.h.d.manager.kafka.Producer - 发送消息到kafka消息系统， message:{"name":"奥克斯-热水器","type":"CZ-2456","count":2,"buyer":"sxp","consumptionAmount":5345.0,"spendingTime":"Jan 2, 2018 9:24:11 AM"}

logstash.conf内容如下：

input {
  kafka {
         bootstrap_servers => "kafka集群所在ip地址:9092"
         topics => ["logstash"]
         group_id => "data-acquisition"
  }
}

filter {
   #定义数据的格式
  grok {
    match => { "message" => "\[%{TIMESTAMP_ISO8601:dateTime}\] \[%{DATA:threadId}\] \[%{DATA:transactionId}\] \[%{DATA:level}\] %{DATA:className} - %{DATA:record}" }
  }
}

output {
  elasticsearch { 
        hosts => ["elasticsearch所在ip地址:9200"]
        user => "elastic"
        password => "H&Er~gZuo+QF*Q5Cr-M9"
  }
}

3.kibana配置

编辑kibana目录下的kibana.yml文件，修改如下配置：

server.host: "本机ip"
server.name: "edu-zk-01"
elasticsearch.url: "http://本机ip:9200"

上面的属性值都是笔者的主机名和kibana所在服务器ip地址以及elasticsearch的URI