ELK - filebeat 的安装

filebeat 的安装
概述:
通过filebeat来实现日志的收集。日志采集的工具有很多种,如fluentd, flume, logstash,betas等等。首先要知道为什么要使用filebeat呢?因为logstash是jvm跑的,资源消耗比较大,启动一个logstash就需要消耗500M左右的内存,而filebeat只需要10来M内存资源。常用的ELK日志采集方案中,大部分的做法就是将所有节点的日志内容通过filebeat送到kafka消息队列,然后使用logstash集群读取消息队列内容,根据配置文件进行过滤。然后将过滤之后的文件输送到elasticsearch中,通过kibana去展示。

环境:
centos:7.5
filebeat:7.3.0
Logstash:7.3.0

需求:收集本地的日志文件,将数据上传到 Logstash 中

操作步骤:
1. 下载 filebeat 
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.3.0-linux-x86_64.tar.gz

2. 解压配置 filebeat
/*解压 filebeat*/
tar xf filebeat-7.3.0-linux-x86_64.tar.gz -C /data/elk/

/*将目录改名*/
cd /data/elk
mv filebeat-7.3.0-linux-x86_64 filebeat-7.3.0

/*修改配置文件*/
# vim filebeat.yml
filebeat.inputs:
- type: log
  enabled: true
  #定义日志文件路径
  paths:
    - /data/soft/logstash-7.3.0/log/TMF.Mazu_sashimi_20190817.log

filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
setup.template.settings:
  index.number_of_shards: 1
setup.kibana:

output.logstash:
  #定义 logstash 的连接地址
  hosts: ["192.168.1.136:5044"]
processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~


3. 启动 filebeat [注:启动之前需要先启动 Logstash]
./filebeat -e -c filebeat.yml -d "publish"

问题:
1. 如何设置 filebeat 从头开始读取数据
/*删除 registry 目录,他记录了读取文件的位置信息*/
rm -rf /data/elk/filebeat-7.3.0/data/registry

你可能感兴趣的:(ELK,filebeat,ELK,filebeat)