Flume的Collector

Collector的作用是将多个Agent的数据汇总后，加载到Storage中。它的source和sink与agent类似。

 

数据源（source），如：

　　collectorSource[(port)]：Collector source，监听端口汇聚数据。

　　autoCollectorSource：通过master协调物理节点自动汇聚数据。

　　logicalSource：逻辑source，由master分配端口并监听rpcSink。

 

sink，如：
collectorSink( “fsdir”,”fsfileprefix”,rollmillis)：collectorSink，数据通过collector汇聚之后发送到hdfs, fsdir 是hdfs目录，fsfileprefix为文件前缀码。

　　customdfs(“hdfspath”[, "format"])：自定义格式dfs。

本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/6784963.html，如需转载请自行联系原作者