ELK----filebeat日志收集工具

ELK：filebeat日志收集工具和logstash相同

filebeat是一个轻量级的日志收集工具，所使用的系统资源比logstash部署和启动时使用的资源要小的多。

filebeat可以运行在非java环境。他可以代理logstash在非java环境上收集日志

filebeat无法实现数据的过滤，一般是结合logstash的数据过滤功能一块使用

filebeat收集的数据可以发往多个主机。远程收集。

数据流程图：

实验：

20.0.0.10:logstash+kibana+filebeat
20.0.0.20:es1
20.0.0.30:es2
20.0.0.75:mysql
 
 
vim /etc/logstash/logstash.yml
64行
path.data: /opt/log
重启服务即可
 
yum -y install ntpdate
#时间同步
ntpdate ntp.aliyun.com 
 
yum -y install nginx
#安装nginx
开启nginx
vim /usr/local/nginx/html/index.html
this is nginx
 
到浏览器页面访问测试一下
20.0.0.10:8080
 
回到10主机
cd filebeat
cp filebeat.yml filebeat.yml.bck
vim filebeat.yml
Logstash output部分
output.logstash:解除注释
hosts: ["20.0.0.10:5044"]解除注释
 15 filebeat.inputs:
 16 - type: log
 17   enabled: true
 18   paths:
 19     - /usr/local/nginx/logs/access.log
 20     - /usr/local/nginx/logs/error.log
 21   tags: ["nginx"]
 22   fields:
 23     service_name: 20.0.0.10_nginx
 24     log_type: nginx
 25     from: 20.0.0.10
 
  cd /opt/log
  vim nginx.conf
  input {
   beats { prot => "5044"}
  }
  
  output {
    if "nginx" in [tags] {
      elasticsearch {
        hosts => ["20.0.0.20:9200","20.0.0.30:9200"]
        index => "%{[fields][service_name]}"-%{+YYYY.MM.dd}
      }
    }
    stdout {
      codec => rubydebug
    }
  }
nohup ./filebeat -e -c filebeat.yml > filebeat.out &
  #nohup表示在后台记录执行命令的过程
  #./filebeat运行文件
  #-e使用标准输出同时禁用syslog文件输出
  #-c指定配置文件
  cd /opt/log
  logstash -f file_nginx.conf --path.data /opt/ng3 &

到浏览器测试一下

logstash收集日志的过程：

input（从哪收集）

filter（过滤）

output（发送es实例）
 

远程收集多个日志

MySQL主机
vim /etc/my.conf
general_log=ON
general_log_file=/usr/local/mysql/data/mysql_general.log
#开启日志功能和指定日志位置
systemctl restart mysqld.service
#重启MySQL服务
打开MySQL进入创建一个库和一个表给日志创造一点信息
 
yum -y install httpd
#安装httpd服务
yum -y install nginx
#安装nginx服务
修改nginx的端口号为8080
 
到浏览器访问测试一下httpd和nginx
20.0.0.75:80
20.0.0.75:8080
 
在MySQL主机上安装filebeat
cd filebeat
cp filebeat.yml filebeat.yml.bak
vim filebeat.yml
打开optput
hosts： [20.0.0.10]
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /usr/local/nginx/logs/access.log
    - /usr/local/nginx/logs/error.log
  type: ["nginx_75"]
  fields:
    service_name: 20.0.0.75_nginx
    log_type: nginx
    from: 20.0.0.75
 
- type: log
  enabled: true
  paths:
    - /var/log/httpd/access.log
    - /var/log/httpd/error.log
  type: ["httpd_75"]
  fields:
    service_name: 20.0.0.75_httpd
    log_type: httpd
    from: 20.0.0.75
 
- type: log
  enabled: true
  paths:
    - /usr/local/mysql/data/mysql_general.log
  type: ["mysql_75"]
  fields:
    service_name: 20.0.0.75_mysql
    log_type: mysql
    from: 20.0.0.75
 
回到elk主机
cd /opt/log
vim nhm_75.conf
input {
 beats { port => "5045"}
}
 
output {
 if "nginx_75" in [tags] {
  elasticsearch {
   hosts => ["20.0.0.20:9200","20.0.0.30:9200"]
   index => "%{[fields][service_name]}-%{+YYYY.MM.dd}"
  }
 }
 if "httpd_75" in [tags] {
  elasticsearch {
   hosts => ["20.0.0.20:9200","20.0.0.30:9200"]
   index => "%{[fields][service_name]}-%{+YYYY.MM.dd}"
  }
 }
 if "mysql_75" in [tags] {
  elasticsearch {
   hosts => ["20.0.0.20:9200","20.0.0.30:9200"]
   index => "%{[fields][service_name]}-%{+YYYY.MM.dd}"
  }
 }
   stdout {
    codec => rubydebug
  }
}
 
回到MySQL主机
nohup ./filebeat -e -c filebeat.yml > filebeat.out &
 
回到elk主机
logstash -f nhm_75.conf --path.data /opt/nhm
 
回到MySQL主机修改端口号
hosts: ["20.0.0.75:5045"]
nohup ./filebeat -e -c filebeat.yml > filebeat.out &
 
到elk主机
logstash -f nhm.conf --path.data /opt/nhm2 &
 
到浏览器查看一下es索引是否创建成功
再到kibana上创建索引查看是否有日志记录

logstash性能优化：

logstash启动是在jvm虚拟机当中其中，启动一次至少500M内存。

vim /etc/logstash/logstash.yml
41行
pipeline.workers: 2
#定义了logstash的工作线程，默认值就是cpu数。4核最好给2，8核给2，给一半即可
pipline.batch.size: 125
#一次性批量处理检索时间的大小
#125是条数。可以根据自行修改
50行
pipeline.batch.delay: 50
#查询更新的延迟
#50是50毫秒，也可也自行调整
#生产中一般10-15毫秒。也要看机器性能