(Logstash)ELK stack 权威指南 笔记

ELK stack:elasticsearch logstash kibana
logstash 需要安装java
yum安装

image.png

命令行方式：logstash -e 'input{stdin{}}output{stdout{codec=>rubydebug}}'
配置文件：logstash.conf
input{
stdin{}
}
output{
stdout{
codec=>rubydebug{}
}
elasticsearch{
embedded=>true
}
}
//logstash -f logstash.conf

---

-t 解析语法
-l 记录到日志
-w 5 用5个线程运行
-v 输出调试日志

---

插件安装：
p'lugin install xx
plugin update xx

/dev/null 2>&1

---

file(FileWatch) 插件的配置：
path 路径
discover_interval 几秒检查，默认15秒
exclude
start_position begining ：默认是tail -F,需要设置成begining
*表示递归所有子目录== //

tcp/udp插件
syslog插件：
syslog{
port => '514'
}
TCP插件和filter插件实现syslog效果

image.png

collected插件
--
logstash数据流方向：input|decode|filter|encode|output
nginx作为logstash输入流

image.png

multiline插件

image.png

---

logstash-filter-date插件

image.png

joda时间格式

image.png

时间转换

image.png

grok正则插件

image.png

geoip插件:IP归属地查询

image.png

image.png

logstash-filter-kv 插件，处理key-value日志
logstash-filter-metrics 插件;

image.png

logstash-filter-mutate:类型转换、字符串处理、字段处理

image.png

image.png

image.png

image.png

split 插件

image.png

输出插件：elasticsearch

image.png

输出插件：发送email

image.png

调用系统命令

image.png

输出，保存到文件

image.png

发送告警到nagios里

image.png

标准输出

image.png

image.png

HDFS

image.png

image.png