Logstash笔记

logstash event

input - filter -output

• 数据在内部流转时的具体表现形式。数据在input阶段被转换为event，在output被转换为目标格式数据。
• Event是一个Java Object，在配置文件中可以对event的属性进行增删改查

queue

• In memory queue
  进程crash，机器宕机，都会引起数据丢失

• Persistent queue
  queue.type.persisted（默认是memory）
  queue.max_bytes: 4gb
  机器宕机，数据也不会丢失；数据保证会被消费；可以代替kafka等消息队列缓冲区的作用

• https://www.elastic.co/guide/en/logstash/7.1/persistent-queues.html

Input plugin — File

• 支持从文件中读取数据，如日志文件
• 文件读取需要解决的问题
  只被读取一次。重启后需要从上次读取的位置继续（通过 sincedb 实现）
• 读取到文件新内容，发现新文件
• 文件发生归档操作（文档位置发生变化，日志 rotation），不能影响当前的内容读取

Filter plugin

• 对logstash event 进行各种处理，例如解析、删除字段、类型转换
  Date（日志解析），Dissect（分隔符解析），Grok（正则匹配解析），Mutate（处理字段。重命名、删除、替换），Ruby（利用Ruby代码来动态修改event）

• Mutate

  
  
  Mutate插件