快速搭建轻量级日志采集系统 filebeat读取日志文件到kafka

快速搭建轻量级日志采集系统 filebeat读取日志文件到kafka

很多日志采集系统比如logstash，比较消耗cpu和内存，如果我们想单纯的采集日志到kafka，name使用filebeat会比较适合你

日志采集模式：filebeat->kafka （后续可以根据自己的需求 使用中间件或者flume做数据的清洗再到es）
工具准备：

一：下载filebeat-6-5-3
下载地址： https://www.elastic.co/cn/downloads/past-releases/filebeat-6-5-3

二：上传到指定目录，解压，我这里用的是 /yang

新建文件夹：

mkdir /yang

进入目录：

cd /yang/

解压到当前目录：

tar -zxvf filebeat-6.5.3-linux-x86_64.tar.gz 

目录结构如下：

三：配置文件：filebeat.yml

修改配置文件 filebeat.yml：

vi filebeat.yml

全删掉 很多没用个注释：
输入命令：直接 gg 然后dG 清空

#=========================== Filebeat inputs =============================

filebeat.inputs:

# Each - is an input. Most options can be set at the input level, so
# you can use different inputs for various configurations.
# Below are the input specific configurations.

- type: log

# Change to true to enable this input configuration.
  enabled: true

# Paths that should be crawled and fetched. Glob based paths.
  paths:
    - /yang/*.log

#================================ Outputs =====================================
output.kafka:
  enabled: true
  hosts: ["192.168.202.185:9092"]
  topic: log_test

** paths:
- /yang/*.log （你要监听的log日志的目录，可以配多个，下面加一行即可）
** 192.168.202.185:9092 是我kafka的服务端口，改成自己的即可，多个地址用 ， 隔开；
** log_test 是我kafka里的topic，换成自己的即可；

四：运行

nohup ./filebeat -c filebeat.yml &

另外一台机器 查看kafka的消息有没有进来

./kafka-console-consumer.sh --bootstrap-server node01:9092  --topic log_test

消息都进来了；；；；；；；；；；；；；；；；；；；；；；；；；

取一条消息解析格式

OK！ 完成！觉得对你有帮助的话，给个赞呗！