Filebeat新机部署

1、新机部署

1、部署安装包，解压，改名

filebeat-6.4.2-linux-x86_64.tar.gz cd /usr/local/filbeat tar –zxvf filebeat-6.4.2-linux-x86_64.tar.gz mv filebeat-6.4.2 filebeat

2、修改配置文件

vim /usr/local/filebeat/filebeat.yml 修改如下配置： filebeat.inputs: - type: log   enabled: true   paths:     - /var/log/zabbix/zabbix_server.log   fields:     ip: IP地址     belong: mid filebeat.config.modules:   path: ${path.config}/modules.d/*.yml   reload.enabled: false setup.template.settings:   index.number_of_shards: 1 setup.kibana: output.kafka:   hosts: ["IP地址:9092"]   enabled: true   topic: 'cloudlink-%{[fields.belong]}'

3、启动filebeat

后台方式启动filebeat： nohup /usr/local/filebeat/filebeat -e -c /usr/local/filebeat/filebeat.yml >/dev/null 2>&1 &  将所有标准输出及标准错误输出到/dev/null空设备，即没有任何输出 或者 nohup /usr/local/filebeat/filebeat -e -c /usr/local/filebeat/filebeat.yml > filebeat.log & 停止filebeat： 查找进程ID并kill掉： ps -ef |grep filebeat kill -9  进程号

4、查看结果

1、在文件之中增加一条记录之后 2、查看所有的topic，确认是否到kafka /usr/local/kafka/bin/kafka-topics.sh --list --zookeeper IP地址:2181 3、查看所得index，确认是否到elasticsearch curl -X GET -i 'http:// IP地址:9200/_cat/indices?v' 4、查看kibana的management的Create index pattern.

2、软件系统日志精简

1、查看文件大小

du –sh *    查看文件夹大小，s表示summarize统计总和，h表示huaman，*表示列出当前目录下文件

 

2、logstash日志精简

vim /usr/local/logstash/config/logstash.yml log.level: fatal 重启logstash