ELK搭建————logstash-7.3.0安装

题注：

安装JDK-11.0.3，请参考我的博客《Centos7.6安装JDK-11.0.3》

创建虚拟机，欢迎访问我的博客《VMware创建Centos7虚拟机并配置静态IP》

安装elasticsearch7.3.0，请参考我的博客《ELK搭建————elasticsearch7.3.0安装》

安装logstash-7.3.0，请参考我的博客《ELK搭建————logstash-7.3.0安装》

安装kibana-7.3.0，请参考我的博客《ELK搭建————kibana-7.3.0安装》​​​​​​​

​​​​​​​

1、logstash简介：

Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地。

Logstash 是 Elastic Stack 的中央数据流引擎，用于收集、丰富和统一所有数据，而不管格式或模式。当与Elasticsearch，Kibana，及 Beats 共同使用的时候便会拥有特别强大的实时处理能力。

 

 

集中、转换和存储你的数据，可扩展

---

 Logstash是一个开源的服务器端数据处理管道，可以同时从多个数据源获取数据，并对其进行转换，然后将其发送到你最喜欢的“存储”。（当然，我们最喜欢的是Elasticsearch）

输入：采集各种样式、大小和来源的数据

数据往往以各种各样的形式，或分散或集中地存在于很多系统中。Logstash 支持各种输入选择 ，可以在同一时间从众多常用来源捕捉事件。能够以连续的流式传输方式，轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。

过滤器：实时解析和转换数据

数据从源传输到存储库的过程中，Logstash 过滤器能够解析各个事件，识别已命名的字段以构建结构，并将它们转换成通用格式，以便更轻松、更快速地分析和实现商业价值。

Logstash 能够动态地转换和解析数据，不受格式或复杂度的影响：

• 利用 Grok 从非结构化数据中派生出结构
• 从 IP 地址破译出地理坐标
• 将 PII 数据匿名化，完全排除敏感字段
• 整体处理不受数据源、格式或架构的影响

输出：选择你的存储，导出你的数据

尽管 Elasticsearch 是我们的首选输出方向，能够为我们的搜索和分析带来无限可能，但它并非唯一选择。

Logstash 提供众多输出选择，您可以将数据发送到您要指定的地方，并且能够灵活地解锁众多下游用例。

 

可扩展：以您自己的方式创建和配置管道

Logstash 采用可插拔框架，拥有 200 多个插件。您可以将不同的输入选择、过滤器和输出选择混合搭配、精心安排，让它们在管道中和谐地运行。

从自定义应用程序采集数据？没有看到所需的插件？Logstash 插件很容易构建。我们有一个极好的插件开发 API 和插件生成器，可帮助您开始创作并分享成果。

 

2、logstash安装过程：

step1、下载logstash-7.3.0；

官网地址：https://www.elastic.co/cn/downloads/logstash
下载地址：https://artifacts.elastic.co/downloads/logstash/logstash-7.3.0.tar.gz

 

 

step2、上传并解压文件：

mkdir -p /usr/elasticsearch/logstash/

cd  /usr/elasticsearch/logstash/

tar zxvf  logstash-7.3.0.tar.gz

step3、测试logstash启动是否正常：
cd logstash-7.3.0
bin/logstash -e 'input { stdin { } } output { stdout {} }'

启动后，输入hello world

 

step4、关闭logstash:
   CTRL + D

 

3、logstash测试用例：

稍后补充