filebeat 日志收集工具
elk：filebeat日志收集工具和logstash相同。
filebeat是一个轻量级的日志收集工具，所使用的系统资源比logstash部署和启动时使用的资源要小的多。
filebeat可以运行在非Java环境。他可以代理logtash在非java环境上收集日志。
filebeat无法实现数据的过滤，一般是结合logstash的数据过滤功能一块使用。
filebeat收集的数据可以发往多个主机，远程发送。
在四台主机上安装filebeat
安装时间同步工具：
yum install ntpdate -y
ntpdate ntp.aliyun.com
date
直接收集nginx(192.168.176.60 本机)日志
给文件赋权：
cd /var/log/nginx/
chmod 777 access.log error.log
备份：
cd /opt/filebeat/
cp filebeat.yml filebeat.yml.bak
修改配置文件
vim filebeat.yml
改为logstash output
指定日志路径
创建logstash文件，指定es。
input {
beats { port => "5044" }
}
output {
if "nginx" in [tags] {
elasticsearch {
hosts => ["192.168.176.10:9200","192.168.176.50:9200"]
index => "%{[fields][service_name]}-%{+YYYY.MM.dd}"
}
}
stdout {
codec => rubydebug
}
}
设置文件保存路径
logstash -f file_nginx.conf --path.data /opt/test2
开启收集命令
nohup ./filebeat -e -C filebeat.yml > filebeat.out &
nohup表示在后台记录执行命令的过程
./filebeat 运行文件
-e 使用标准输出的提示进行syslog文件生成
-c 指定配置文件
执行过程生成到filebeat这个文件当中，&后台运行
创建索引模式
logstash收集日志的过程：
input(从哪里收集)
filter(过滤）
output(发送es实例)
上面为本地收集：
远程收集，远程多个日志。
开启MySQL日志
general_log=ON
general_log_file=/usr/local/mysql/data/mysql_general.log
安装httpd，nginx服务
安装filebeat 服务
#配置logsatsh
记得改端口，不要和上方重复
#启动 filebeat
nohup ./filebeat -e -c filebeat.yml > filebeat.out &
#多个实例同时收集：创建文件
vim nhm_30.conf
input {
beats { port => "5045" }
}
output {
if "nginx_30" in [tags] {
elasticsearch {
hosts => ["192.168.176.10:9200","192.168.176.50:9200"]
index => "%{[fields][service_name]}-%{+YYYY.MM.dd}"
}
}
if "httpd_30" in [tags] {
elasticsearch {
hosts => ["192.168.176.10:9200","192.168.176.50:9200"]
index => "%{[fields][service_name]}-%{+YYYY.MM.dd}"
}
}
if "mysql_30" in [tags] {
elasticsearch {
hosts => ["192.168.176.10:9200","192.168.176.50:9200"]
index => "%{[fields][service_name]}-%{+YYYY.MM.dd}"
}
}
stdout {
codec => rubydebug
}
}
设置文件保存路径
logstash -f nhm_30.conf --path.data /opt/test4
logstash可以使用任何端口，只有吗被占用都可以使用，推荐1024之后使用。
5044
5045
5046
对logstash性能上的优化：logstash启动是在jvm虚拟机当中，启动移除至少500M内存。
pipeline.workers: 2
logstash的工作线程，默认值就是cpu数，4 2 8 4给一般即可 2核，2个。
pipelinebatch.size:125
一次性能够批量处理检索事务的大小 125条数。200
pipeline.batch.delay: 50
查询更新的延迟。50毫秒，也可以自行调整。15 10 也要看机器性能。