Logstash入门简介

目录

  • Logstash简介
    • 介绍
    • 用途
    • 部署安装
    • 测试
    • 配置详解
      • 输入
      • 过滤
      • 输出
    • 读取自定义日志
      • 日志结构
      • 编写配置文件
      • 输出到Elasticsearch

Logstash简介

介绍

        Logstash是一个开源的服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到最喜欢的存储库中(我们的存储库当然是ElasticSearch)

Logstash入门简介_第1张图片

       我们回到我们ElasticStack的架构图,可以看到Logstash是充当数据处理的需求的,当我们的数据需要处理的时候,会将它发送到Logstash进行处理,否则直接送到ElasticSearch中
Logstash入门简介_第2张图片

用途

       Logstash可以处理各种各样的输入,从文档,图表中,数据库中,然后处理完后,发送到Elasticsearch

Logstash入门简介_第3张图片

部署安装

       Logstash主要是将数据源的数据进行一行一行的处理,同时还直接过滤切割等功能。

Logstash入门简介_第4张图片

首先到官网下载logstash:传送门

选择我们需要下载的版本:

Logstash入门简介_第5张图片

直接使用wget下载

#检查jdk环境,要求jdk1.8+
java -version
# 下载
wget https://artifacts.elastic.co/downloads/logstash/logstash-8.8.1-linux-x86_64.tar.gz
#解压安装包
tar -xvf logstash-8.8.1-linux-x86_64.tar.gz
mv logstash-8.8.1 logstash
#第一个logstash示例--定义标准输入和输出
bin/logstash -e 'input { stdin { } } output { stdout {} }'

测试

       我们在控制台输入 hello,马上就能看到它的输出信息

Logstash入门简介_第6张图片

配置详解

       Logstash的配置有三部分,如下所示

input { #输入
stdin { ... } #标准输入
}
filter { #过滤,对数据进行分割、截取等处理
...
}
output { #输出
stdout { ... } #标准输出
}

输入

  • 采集各种样式、大小和来源的数据,数据往往以各种各样的形式,或分散或集中地存在于很多系统中。
  • Logstash 支持各种输入选择 ,可以在同一时间从众多常用来源捕捉事件。能够以连续的流式传输方式,轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。
    Logstash入门简介_第7张图片

过滤

  • 实时解析和转换数据
  • 数据从源传输到存储库的过程中,Logstash 过滤器能够解析各个事件,识别已命名的字段以构建结构,并将它们转换成通用格式,以便更轻松、更快速地分析和实现商业价值。
    Logstash入门简介_第8张图片

输出

       Logstash 提供众多输出选择,可以将数据发送到指定的地方,并且能够灵活地解锁众多下游用例。
Logstash入门简介_第9张图片

读取自定义日志

       前面我们通过Filebeat读取了nginx的日志,如果是自定义结构的日志,就需要读取处理后才能使用,所以,这个时候就需要使用Logstash了,因为Logstash有着强大的处理能力,可以应对各种各样的场景。

日志结构

2023-06-17 21:21:21|ERROR|1 读取数据出错|参数:id=1002

       可以看到,日志中的内容是使用“|”进行分割的,使用,我们在处理的时候,也需要对数据做分割处理。

编写配置文件

vim shengxia-pipeline.conf

然后添加如下内容

input {
    file {
        path => "/opt/elk/logs/app.log"
        start_position => "beginning"
    }
}
filter {
    mutate {
    	split => {"message"=>"|"}
    }
}
output {
	stdout { codec => rubydebug }
}

启动

#启动
./bin/logstash -f ./mogublog-pipeline.conf

然后我们就插入我们的测试数据

echo "2023-06-17 21:21:21|ERROR|读取数据出错|参数:id=1002" >> app.log

然后我们就可以看到logstash就会捕获到刚刚我们插入的数据,同时我们的数据也被分割了

Logstash入门简介_第10张图片

输出到Elasticsearch

       我们可以修改我们的配置文件,将我们的日志记录输出到ElasticSearch中

input {
    file {
        path => "/opt/elk/logs/app.log"
        start_position => "beginning"
    }
}
filter {
    mutate {
    	split => {"message"=>"|"}
    }
}
output {
	elasticsearch {
		hosts => ["192.168.40.150:9200","192.168.40.137:9200","192.168.40.138:9200"]
	}
}

然后在重启我们的logstash

./bin/logstash -f ./shenngxia-pipeline.conf

然后向日志记录中,插入两条数据

echo "2023-06-17 21:57:21|ERROR|读取数据出错|参数:id=1002" >> app.log
echo "2023-06-17 21:58:21|ERROR|读取数据出错|参数:id=1003" >> app.log

最后就能够看到我们刚刚插入的数据了

Logstash入门简介_第11张图片

你可能感兴趣的:(elasticsearch,大数据,搜索引擎)