filebeat采集日志到kafka配置及使用

简述

Filebeat是elastic公司beats系列工具中的一个，主要用于收集本地日志。
在服务器上安装后，filebeat会监控日志目录或者指定的日志文件，追踪读取这些文件（追踪文件的变化，不停的读），并且转发这些信息到配置文件中指定的输出端（例如：elasticsearch,logstarsh或kafka）。

Filebeat使用go语言开发，使用时没有其他依赖，比logstash-forworder轻量，不会占用部署服务器太多的资源。

filebeat的工作流程：当你开启filebeat程序的时候，它会启动一个或多个探测器（prospectors）去检测你指定的日志目录或文件，对于探测器找出的每一个日志文件，filebeat启动收割进程（harvester），每一个收割进程读取一个日志文件的新内容，并发送这些新的日志数据到处理程序（spooler），处理程序会集合这些事件，最后filebeat会发送集合的数据到你指定的地点。

image.png

安装及使用

1. 安装
   可以使用系统的支持的命令（deb for Debian/Ubuntu, rpm for Redhat/Centos/Fedora
   ）进行安装，也可以下载压缩包进行安装。本文中选择使用压缩包的方式。
   首先下载压缩包，我的操作系统环境是centos7.3 64bit，所以选择下载filebeat-6.2.4-linux-x86_64.tar.gz。读者可依据自己的操作系统环境选择正确的版本。下载地址：https://www.elastic.co/downloads/beats/filebeat

tar xzf filebeat-6.2.4-linux-x86_64.tar.gz

2.配置filebeat
配置filebeat需要编辑filebeat的配置文件，不同安装方式，配置文件的存放路径有一些不同， 对于 rpm 和 deb的方式, 配置文件路径的是 /etc/filebeat/filebeat.yml，对于压缩包的方式，配置文件存在在解压目录下（例如：我是在home目录下进行的解压，那么配置文件的路径就应该是~/filebeat-6.2.4-linux-x86_64/filebeat.yml）。

由于我的预期目标是将filebeat收集的日志发送到kafka,所以配置output就选择了kafka。读者可根据自己的使用场景，配置output。

• 定义日志文件路径

- type: log

  # Change to true to enable this prospector configuration.
  enabled: true
  # Paths that should be crawled and fetched. Glob based paths.
  paths:
    - /var/log/*.log

例子中的配置将对/var/log目录下所有以.log结尾的文件进行采集。

• 定义输出到kafka

.kafka:
  # initial brokers for reading cluster metadata
  hosts: ["kafka1:9092", "kafka2:9092", "kafka3:9092"]
  # message topic selection + partitioning
  topic: log

3.启动

cd filebeat-6.2.4-linux-x86_64
./filebeat -e -c filebeat.yml

本文中只是为满足需求对filebeat进行了最基本的配置。filebeat的很多重要的配置和特性并没有体现（例如：模块，多行消息），读者如果需要更深入的了解请参考：https://www.elastic.co/guide/en/beats/filebeat/current/configuring-howto-filebeat.html。
欢迎大家在评论区讨论使用过程的心得和疑惑。