ElasticSearch+Logstash+Kibana+Filebeats日志系统

转载请标明出处：
https://blog.csdn.net/bingospunky/article/details/79803150
本文出自马彬彬的博客

下载地址

elastic系列软件下载地址

安装ElasticSearch

下载elasticsearch-5.5.1.zip，解压就可以使用。

$ELASTICSEARCH_HOME/bin/elasticsearch

配置集群，我配置的是伪集群，就是在一台机器上运行多个实例。把config和data文件夹复制出来，修改下配置文件，在启动的时候指定对应的配置文件文件夹就可以了，如下：

$ELASTICSEARCH_HOME/bin/elasticsearch -Epath.conf=$ELASTICSEARCH_HOME/config1

安装elstatic-search head

可以查看es的运行情况。

git clone git://github.com/mobz/elasticsearch-head.git
cd elasticsearch-head
npm install grunt --save
npm run start

访问localhost:9100，如果集群健康值：显示“未连接”，则给ES添加跨域支持。如下：

vim $ELASTICSEARCH_HOME/config/elasticsearch.yml

添加如下内容：

http.cors.enabled: true
http.cors.allow-origin: "*"

安装成功，访问localhost:9100。

安装logstash

下载、解压。

编写logstash.conf，如下：

input { stdin { } }
output {
  elasticsearch { hosts => ["localhost:9200"] }
  stdout { codec => rubydebug }
}

启动。 LOGSTASHHOME/bin/logstash−f L O G S T A S H H O M E / b i n / l o g s t a s h − f {LOGSTASH_HOME}/config-mabb/logstash.conf

在启动后的命令行中输入数据，就可以通过logstash传递到es中。

安装kibana

下载、解压、运行：${KIBANA_HOME}/bin/kibana

安装成功，访问localhost:5601。

添加index logstash-，这个操作的意思的就是：在kibana处理es里所有的index是logstash-的数据。点击左边Discover标签，在右边的界面中可以选择刚刚创建的index，可以进行搜登等操作。

filebeats

下载，解压。

配合logstash使用的配置文件如下：

filebeat.yml：

filebeat.prospectors:
- type: log
  enabled: true
  paths:
    - /Users/mabinbin/var/log/*.log
output.logstash:
  hosts: ["localhost:5045"]

logstash.conf

input{
    beats {
        port => 5045
      }
}   
output{
    elasticsearch{
        hosts => ["localhost:9200"]
   }
}

当filebeats配合logstash使用，需要手动load the index template in ElasticSearch，就是filberts直连ElasticSearch load 数据，命令如下：

./filebeat setup --template -E output.logstash.enabled=false -E 'output.elasticsearch.hosts=["localhost:9200"]'

启动：

./filebeat -e -c filebeat.yml

引用

https://www.elastic.co/guide/index.html

Getting Started With Filebeat

Mac上搭建ELK

grok正则表达式debug工具