Flume spoolDirSource 无法加header怎么办

自带的spoolDirSource不像avroSource一样可以加文件头,所以我们需要自定义

步骤:

1.在项目目录下的Maven dependencies下找
在这里插入图片描述

下面选中的的:
Flume spoolDirSource 无法加header怎么办_第1张图片

2.自己新建一个MySpoolDirectorySource的java class,将上面那个SpoolDirectorySource.class中的所有代码自己复制过去,改一下类名就行。

3.找到run方法,在下面写逻辑:
Flume spoolDirSource 无法加header怎么办_第2张图片

4 .导出jar包,整个项目导出来。
5.修改linux上flume的配置文件,用自己的这个Source,
修改前:
Flume spoolDirSource 无法加header怎么办_第3张图片
修改后:
Flume spoolDirSource 无法加header怎么办_第4张图片

获取函数全路径:右键函数名->copy qualified name

6.结束,启动flume

你可能感兴趣的:(hadoop,Flume)