Filebeat和Logstash的简单配置和使用

1. 介绍

Filebeat是一个轻量级的转发和集中日志数据的托运工具, Filebeat监控指定的日志文件或目录, 收集日志事件, 并将其转发到Elasticsearch或Logstash进行索引.

Filebeat的工作方式如下: 当启动Filebeat时, 它会开启一个或多个输入, 这些输入将在你所指定的位置查找日志数据. 对于Filebeat所找到的每个日志, Filebeat都会启动收集器. 每个harvester都读取一个日志以获取新内容, 并将新日志数据发送到libbeat, libbeat会汇总事件并将汇总的数据发送到您为Filebeat配置的输出.

filebeat.png

如果想要了解更多关于Filebeat, 查看官方文档

Logstash是一个具有实时流水线功能的开源的数据收集引擎. 它可以动态规划来自不同数据来源的数据, 并将数据规范为为你选择的目标. 虽然Logstash最初被用作收集日志，但是它的功能远远超出了最初的规划. 任何类型的事件都可以通过输入(input), 过滤器(filter)和输出(output)插件来丰富和转换.

如果想要了解更多关于logstash, 查看官方文档

2. 安装

Filebeat:

mac

curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.5.1-darwin-x86_64.tar.gz
tar xzvf filebeat-7.5.1-darwin-x86_64.tar.gz

linux:

curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.5.1-linux-x86_64.tar.gz
tar -zxvf filebeat-7.5.1-linux-x86_64.tar.gz

Docker:

docker pull docker.elastic.co/beats/filebeat:7.5.1

Logstash:

mac & linux

curl -L -O https://artifacts.elastic.co/downloads/logstash/logstash-7.5.1.tar.gz
tar -zxvf logstash-7.5.1.tar.gz

Docker:

docker pull docker.elastic.co/logstash/logstash:7.5.1

更多下载方式, 参考官方文档

3. 配置

本文中主要使用Filebeat收集日志, 然后将数据转发到Logstash进行处理, 最后输出到ActiveMQ, 所以本文中也将围绕这个方向进行配置.

Logstash

Logstash有两个必要的基本组件(input和output)和一个可选组件(filter). input组件定义了数据的来源, filter组件按照你所制定的规则对数据进行修改, output指定组件向哪里写入数据.

basic_logstash_pipeline.png

运行下面的命令，来测试你的Logstash是否正常

cd logstash-7.5.1
bin/logstash -e 'input { stdin {} } output { stdout {} }'

-e表示从命令行中读取配置. 在这个例子中可以看到，我们定义个两个组件input和output, 分别从控制台接收数据，并输出到控制台

如果成功运行，可以看到如下结果

Java HotSpot(TM) 64-Bit Server VM warning: Option UseConcMarkSweepGC was deprecated in version 9.0 and will likely be removed in a future release.
WARNING: An illegal reflective access operation has occurred
WARNING: Illegal reflective access by com.headius.backport9.modules.Modules (file:/usr/local/logstash-7.5.0/logstash-core/lib/jars/jruby-complete-9.2.8.0.jar) to field java.io.FileDescriptor.fd
WARNING: Please consider reporting this to the maintainers of com.headius.backport9.modules.Modules
WARNING: Use --illegal-access=warn to enable warnings of further illegal reflective access operations
WARNING: All illegal access operations will be denied in a future release
Thread.exclusive is deprecated, use Thread::Mutex
Sending Logstash logs to /usr/local/logstash-7.5.0/logs which is now configured via log4j2.properties
[2020-01-15T11:42:36,556][WARN ][logstash.config.source.multilocal] Ignoring the 'pipelines.yml' file because modules or command line options are specified
[2020-01-15T11:42:36,651][INFO ][logstash.runner          ] Starting Logstash {"logstash.version"=>"7.5.0"}
[2020-01-15T11:42:37,608][INFO ][org.reflections.Reflections] Reflections took 29 ms to scan 1 urls, producing 20 keys and 40 values 
[2020-01-15T11:42:37,975][WARN ][org.logstash.instrument.metrics.gauge.LazyDelegatingGauge][main] A gauge metric of an unknown type (org.jruby.RubyArray) has been create for key: cluster_uuids. This may result in invalid serialization.  It is recommended to log an issue to the responsible developer/development team.
[2020-01-15T11:42:37,989][INFO ][logstash.javapipeline    ][main] Starting pipeline {:pipeline_id=>"main", "pipeline.workers"=>2, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>50, "pipeline.max_inflight"=>250, "pipeline.sources"=>["config string"], :thread=>"#"}
[2020-01-15T11:42:38,025][INFO ][logstash.javapipeline    ][main] Pipeline started {"pipeline.id"=>"main"}
The stdin plugin is now waiting for input:
[2020-01-15T11:42:38,064][INFO ][logstash.agent           ] Pipelines running {:count=>1, :running_pipelines=>[:main], :non_running_pipelines=>[]}
[2020-01-15T11:42:38,214][INFO ][logstash.agent           ] Successfully started Logstash API endpoint {:port=>9600}

运行成功后，我们可以直接在控制台输入hello world

hello world
{
       "message" => "hello world",
          "host" => "exampleMBP.lan",
    "@timestamp" => 2020-01-15T03:49:44.853Z,
      "@version" => "1"
}

我们可以看到如上所示的输出, 使用Ctrl+d来退出Logstash.

Filebeat

在下载的Filebeat目录下, 打开filebeat.yml

cd filebeat-7.5.1-darwin-x86_64
sudo vim filebeat.yml

这是filebeat.yml的部分配置，大部分情况下使用默认配置即可.

filebeat.inputs:
- type: log
  enabled: true
  paths:
    # Filebeat处理文件的绝对路径
    - /path/to/file/logstash-tutorial.log
output.logstash:
  hosts: ["localhost": 5044]

保存配置, 并使用以下命令运行Filebeat

sudo ./filebeat -e -c ./filebeat.yml -d "publish"

使用Logstash解析日志

Logstash默认已经包含了Beat input插件, 下面这个配置将会同时启用beat和stdininput插件

beats {
    port => "5044"
    client_inactivity_timeout => 3000
}
stdin {}

下面的配置会将接收到的数据打印到标准输出

stdout {}

完成上边两步之后, logstash.conf看起来应该是这样的

input {
    beats {
        port => "5044"
        client_inactivity_timeout => 3000
    }
    stdin {}
}
output {
    stdout {}
}

检查配置文件语法是否正确

bin/logstash -f logstash.conf --config.test_and_exit

如果通过了文件检查, 我们就可以执行下面这条命令指定配置文件来运行Logstash

bin/logstash -f logstash.conf --config.reload.automatic

--config.reload.automatic可以在Logstash不重启的情况下自动加载配置文件

这时候, 我们就可以往Filebeat监控的文件中写入数据了

echo "hello world" >> /path/to/file/logstash-tutorial.log

然后观察Logstash输出结果

为Logstash增加过滤规则

在这里主要给大家介绍简单grok插件, 更多内容查看官方文档.

grok语法分为两种: grok自带的基本匹配模式和用户自定义匹配模式.

基本匹配模式

grok模块提供了基本匹配模式，语法为

%{SYNTAX:SEMANTIC}

其中SYNTAX为匹配模式的名称, 用于调用相应的匹配模式匹配文本, 如: 3.44 会被NUBER模式所匹配, 而10.10.10.1会被IP模式所匹配.

而SEMANTIC则是用于标记被匹配到的文本内容, 如10.10.10.1被IP模式所匹配, 并编辑为ClientIP.

例如：

%{NUMBER:duration} %{IP:ClientIP}

自定义匹配模式

Grok模块是基于正则表达式做匹配的, 因此当基本匹配模式不足以满足我们的需求时, 我们还自定义模式编译相应的匹配规则.

语法为

(?the pattern here)

例如

(?[0-9A-F]{10,11})

为了更好的使用, 我们可以创建一个patterns文件夹, 然后在文件夹中创建extra文件(文件名可以自定义)

在文件中写入

vim extra
POSTFIX_QUEUEID [0-9A-F]{10,11}

借用官网上的例子, 将下面数据写入日志

echo "Jan 1 06:25:43 mailserver14 postfix/cleanup[21403]: BEF25A72965: message-id=<[email protected]>" >> /path/to/file/logstash-tutorial.log

这时候, 使用patterns_dir来设置自定义规则所在的路径, Logstash的配置文件应该是这样的

input {
    beats {
        port => "5044"
        client_inactivity_timeout => 3000
    }   
    stdin {}
}
filter {
    grok {
        patterns_dir => ["./patterns"]
        match => { "message" => "%{SYSLOGBASE} %{POSTFIX_QUEUEID:queue_id}: %{GREEDYDATA:syslog_message}" }
    }
}
output {
    stdout {}
}

运行Logstash将会匹配到以下字段

timestamp: Jan 1 06:25:43
logsource: mailserver14
program: postfix/cleanup
pid: 21403
queue_id: BEF25A72965
syslog_message: message-id=<[email protected]>

4. Logstash插件

本文主要以logstash-output-stomp插件为例, 举例如何将收集处理后的消息发送到ActiveMQ. github地址

input pugins官方地址

output plugins官方地址

filter plugins官方地址

下载 & 安装

安装插件有两种方法, 一种直接输入命令行安装, 另一种从github下载源代码进行安装

命令行安装

bin/logstash-plugin install logstash-output-kafka

下载源代码安装

首先根据官网查找到自己想要安装的插件, 找到自己喜欢的一个目录, 例如/usr/local

git clone https://github.com/logstash-plugins/logstash-output-stomp.git

进入所下载插件目录, 编译插件

cd /usr/local/logstash-output-stomp
gem build logstash-output-stomp.gemspec

进入Logstash安装目录, 打开Gemfile, 并添加以下代码

vim Gemfile
gem "logstash-output-stomp", :path => "/Users/local/logstash-output-stomp"

然后执行, 安装完成

bin/logstash-plugin install --no-verify

Logstash插件配置

官方介绍已经写的很详细了，这里直接贴上配置成功之后的Logstash.conf

input {
    beats {
        port => "5044"
        client_inactivity_timeout => 3000
    }   
    stdin {}
}

filter {
    if "namespace" in [message] {
        grok {
            match => { "message" => "%{DATA:data}event%{GREEDYDATA:tag}endevent" }
        }
        mutate{
            # 这些字段不需要发送到MQ, 在这里可以移除
            remove_field => ["@version", "data", "message", "@timestamp", "log", "host", "ecs", "tags", "agent", "input"]
        }   
    }   
}

output {
    stomp {
        host => "localhost"
        port => "61613"
        destination => "/queue/test"
        user => "admin"
        password => "admin"
    }   
    stdout {}
}

启动Filebeat和Logstash

sudo ./filebeat -e -c ./filebeat.yml -d publish
./bin/logstash -f ./logstash.conf --config.reload.automatic

向日志文件输入内容, 由于if "namespace" in [message], 会发现只有第二条内容被发送到了MQ

echo "hello world" >> /path/to/file/logstash-tutorial.log
echo "hello namespace" >> /path/to/file/logstash-tutorial.log

5. 总结

6. 参考链接

Filebeat Reference
Logstash Reference
FileBeat-Log 相关配置指南
Logstash使用grok进行日志过滤

Filebeat和Logstash的简单配置和使用