filebeat收集日志到elsticsearch中并使用ingest node的pipeline处理
一、需求使用filebeat收集系统中的日志到elasticsearch中。读取系统中的日志文件,排除不需要的数据。多行日志的处理。filebeat.yml中敏感的信息(比如:密码)需要放置到filebeatkeystore中。使用自定义的索引模板。收集到的日志去重。使用es的ingestnode的pipeline来处理数据(增加字段、删除字段、修改数据类型等等)二、实现1、filebeat.ym