flume系列之:学会flume开发调试,查看flume event数据格式,并根据flume event数据格式开发拦截器

flume系列之:学会flume开发调试,查看flume event数据格式,并根据flume event数据格式开发拦截器

  • 一、声明source、channel、sink
  • 二、配置source
  • 三、配置source拦截器
  • 四、配置channel
  • 五、配置sink
  • 六、查看终端输出的flume even的数据格式
  • 七、代码实现打印flume event数据格式到日志

根据不同的需求,flume可能需要采用不同类型的source、channel、sink,flume配置采取热部署,配置更新即可生效。在开发flume新功能时,直接使用source、channel、sink的类型可能无法一次性把流程跑通。因此可以基于channel类型是memory、sink类型是logger来测试开发flume新功能,logger会把flume的event打印到命令行终端,在整个流程跑通后,再把source、channel、sink类型替换为flume要实现功能的类型。

在此基础上根据flume event的数据格式,开发符合需求的拦截器,从而实现flume新功能。

下面以Kafka Source为例,channel类型选择memory,sink类型选择logger为例,来查看flume的event,并详细阐

你可能感兴趣的:(flume,大数据平台二次开发,flume,kafka,big,data)