Flume配置HDFS Sink

解析一下HDFS Sink的常规配置

channel
type				   ###sink的类型,此处是hdfs
hdfs.path              ###hdfs的路径,需要包含文件系统标识,比如:hdfs://namenode/flume/webdata/
hdfs.filePrefix        ###写入hdfs的文件名后缀,比如:.lzo .log等
hdfs.rollInterval      ###间隔多长将临时文件滚动成最终目标文件,单位:秒。如果设置成0,则表示不根据时间来滚动文件
hdfs.rollSize          ###当临时文件达到多少(单位:bytes)时,滚动成目标文件;如果设置成0,则表示不根据临时文件大小来滚动文件,默认1024
hdfs.rollCount         ###当events数据达到该数量时候,将临时文件滚动成目标文件;如果设置成0,则表示不根据events数据来滚动文件
hdfs.batchSize         ###在将数据写入HDFS上之前,每多少个events写入到临时文件,默认是100。该配置不能为配置为0。
hdfs.proxyUser         ###Flume操作HDFS的代理用户,有时Flume写入HDFS时会报权限问题,这个配置需要配置好
hdfs.fileType          ###hdfs上文件的类型

此处要重点说一下batchSize配置,该配置不能写成0,若是配置为0,则会出现flume不报错,但是并没有数据写入到hdfs上的情况。

你可能感兴趣的:(Flume)