Logstash6.1.1简介

一、概述：

       Logstash是一个具有实时流水线功能的开源数据收集引擎，可以收集来自不同数据源不同数据格式的数据，将数据过滤也就是标准化后存入es中，是为外界向es传输数据的通道。

      虽然Logstash最初推动了日志收集的创新，但其功能远远超出了该场景。任何类型的事件都可以通过广泛的输入，过滤和输出插件进行过滤和转换， logstash通过利用更大容量和更多数据来加速您的了解。

二、特点：

   1、水平可扩展的数据处理管道，具有强大的Elasticsearch和Kibana协同作用

   2、可以混合，匹配和编排不同的输入，过滤器和输出，在管道协调中发挥重要作用

   3、提供超过200个插件

 

三、 windows 安装

    【默认已经安装配置jdk1.8】：

     1、 下载安装包：https://download.csdn.net/download/lijiaheng525/10789382

     2 、解压配置： 

               （1） bin目录下配置自己的输入输出格式文件例如：

                             

     3 、启动：windows终端在logstash的bin目录下输入：

                              

或者跳过步骤2 直接：

四、使用

logstash 由三部分组成： 输入（input），输出(output) 、过滤(filter)  

1 input 常用的输入类型：file, syslog,redis,beats

2 filter 常用的过滤插件：grok , mutate,  drop , clone , geoip 

3 ouput 常用输出类型：elasticsearch ,  file, graphite, statsd

配置参考：

数据安全控制：https://www.elastic.co/guide/en/logstash/6.1/execution-model.html