日志系统框架 ELK
目前系统主要流程
组件说明：
Collector：单独的java进程，暴露HTTP接口，用于APP日志上传。
Filebeat-6.7.1：日志收集工具。
Logstash-6.7.1：作为管道，将收集的日志传输给Elasticsearch存储，同时具有日志过滤、数据转换功能。
Elasticsearch-6.7.1：存储日志数据，提供数据搜索、聚合功能。
Kibana-6.7.1：查询聚合Elasticsearch中的数据，生成报表
环境准备
机器准备：3台
1台安装filebeat + kibana + collector
1台安装 logstash
另：每一台均安装ES-6.7.1集群
1.ES-6.7.1安装流程
详情请查看es安装文档
2.Logstash安装
下载logstash-6.7.1
cd /home
wget https://artifacts.elastic.co/downloads/logstash/logstash-6.7.1.tar.gz解压logstash包
tar –zxvf logstash-6.7.1.tar.gz配置文件修改
分为输入和输出
输入：配置logstash端口
日期处理
过滤不需要的字段
输出：elasticsearch 多IP地址
索引名称
文档类型
input {
beats {
port => 5044
}
}
filter {
date {
match => ["@timestamp","ISO8601"]
timezone => "Asia/Shanghai"
target => "@timestamp"
}
if [fields][logtype] == "hsh_click_logs"{
json {
source => "message"
#target => "doc"
remove_field => ["message", "source", "prospector", "offset", "tags",
"input", "host"]
}
}
}
output {
elasticsearch {
hosts => ["http://IP1:9200", "http://IP2:9200"]
index => "hsh_click_logs_%{+YYYY.MM}"
document_type => "_doc"
#user => "elastic"
#password => "changeme"
}
}启动
./logstash -f logstash.conf
3.filebeat-6.7.1安装配置
下载filebeat包
wget https://www.elastic.co/cn/downloads/beats/filebeat/filebeat-6.2.1-linux-x86_64.tar.gz解压
tar -zxvf filebeat-6.2.1-linux-x86_64.tar.gz配置文件修改
分为输入和输出
输入：类型
读取日志路径
字段日志类型
输出：输出到logstash
配置连接地址
filebeat.inputs:
- type: log
enabled: true
paths:
# 该路径为项目collector安装目录下点击事件日志
- /data/home/ywck/log-collector/logs/click-log*.log
fields:
logtype: hsh_click_logs
#--------------------- Logstash output -------------------------------
output.logstash:
hosts: ["logstashIP:5044"]启动
./filebeat -e -c filebeat.yml -d "publish"
4.kibana安装
下载kibana安装包
wget https://artifacts.elastic.co/downloads/kibana/kibana-6.7.1-linux-x86_64.tar.gz解压kibana安装包
tar -zxvf kibana-6.7.1-linux-x86_64.tar.gz配置文件修改（以下指定项）
ES集群
Elasticsearch.hosts:[ http://IP1:port, http://IP2:port, http://IP3:port]
Server’s name
Server.name: "hsh-logs"
端口
Server.port:5601
Server host
Server.host:0.0.0.0启动
bin/kibana &
5.各个组件启动顺序
1.启动elasticsearch
2.启动kibana
3.启动 logstash
4.启动filebeat
5.启动collector项目
kibana依赖于ES
filebeat依赖logstash
logstash依赖于ES
因为kibana是使用node.js写的，所以进程在node中。但是查找到的node进程不一定就是kibana的，所以还需要根据端口进一步确认，直接查看5601端口的占用情况，确定下进程ID，然后在查看下node进程的ID,如果一致，就可以确定该node进程就是kibana的进程了。
netstat -tunlp|grep 5601 查看端口占用情况
ps aux | grep node 查看node进程