ELKF日志管理平台搭建教程（二）-实时数据收集引擎（Logstash）

本文是ELKF日志管理平台搭建教程（二）-实时数据收集引擎（Logstash），若要关注前文，请点击传送门：

ELKF日志管理平台搭建教程（一）-轻量级的日志传输工具（Filebeat）

前文我们介绍了日志传输工具Filebeat，并且我们已经将Filebeat的output指向了192.168.3.203:5044的Logstash，所以我们本文需要在192.168.3.203:5044这台机器上配置Logstash来实时收集Filebeat传输过来的日志信息。有人问我Logstash和Filebeat都是做日志收集的，那么他们有什么区别呢？有几个点吧，Filebeat相较于Logstash更加轻量，占用的CPU资源少，Logstash具有日志过滤功能，所以一般在做集群的时候，我们会在每台机器上配置一个Filebeat用来收集数据，然后统一传输到Logstash中进行日志过滤（这里Logstash也可以做集群配置），将过滤完的日志传输到ElasticSearch中进行持久化，然后Kibana通过查询不同的ElasticSearch中不同的索引来获取到不能模块的日志信息。

一、Logstash简介

Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地。

Logstash应用示意图如下：

  

 数据往往以各种各样的形式，或分散或集中地存在于很多系统中。Logstash 支持各种输入选择 ，可以在同一时间从众多常用来源捕捉事件。能够以连续的流式传输方式，轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。

二、准备工作

首先准备好上一篇文章搭建的Filebeat，然后去官网下载一下Logstash的安装包上传到服务器

Logstash官方下载地址

本专栏是基于官网最新版本进行搭建的，Logstash版本是7.1.1，如图所示：

  

下载TAR.GZ就可以了。 

三、Logstash部署

我将Logstash安装包上传到了/usr/local下面，图示如下：

  

然后我们解压一下

    $ tar -zxvf logstash-7.1.1.tar.gz
    $ mv ./logstash-7.1.1 ./logstash

解压完成后修改配置文件

    $ vim /usr/local/logstash/config/logstash-sample.conf

修改以下内容

# Sample Logstash configuration for creating a simple
# Beats -> Logstash -> Elasticsearch pipeline.

input {
  beats {
    port => 5044
  }
}

filter {
}


output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "logstash-%{[fields][app]}-%{+YYYY.MM.dd}"
    #user => "elastic"
    #password => "changeme"
  }

}

配置文件修改后，如图所示：

  

这里的beats.port配置接收Filebeat的数据的端口，output.elasticsearch配置在ElasticSearch中生成索引名的规则，output.elasticsearch.hosts配置你ElasticSearch的集群地址，output.elasticsearch.index配置的是你在ElasticSearch中生成索引名的规则，我这里的规则是 logstash-%{[fields][app]}-%{+YYYY.MM.dd}，不知道大家还记不记得，我在上一篇文章中配置的fields.app是eureka-server，所以这里在ElasticSearch中生成的索引名称就是 logstash-eureka-server-2019.05.31，我们就是在这里通过生成不同的索引名来区分不同模块的日志文件的。

配置完成之后我们启动一下Logstash

    $ cd /usr/local/logstash
    $ nohup ./bin/logstash -f ./config/logstash-sample.conf &

停止的命令是

    $ ps -aux|grep logstash
    $ kill -9 进程号

验证是否启动完成

    $ ps -aux|grep logstash

如果能够查看到进程号说明启动成功。

到此Logstash配置完成。