Flume 常见配置

1. Source
NetCat Source：绑定的端口（tcp、udp），将流经端口的每一个文本行数据作为Event输入；
type：source的类型，必须是netcat。
bind：要监听的(本机的)主机名或者ip。此监听不是过滤发送方。一台电脑不是说只有一个IP。有多网卡的电脑，对应多个IP。
port：绑定的本地的端口。

Avro Source：监听一个avro服务端口，采集Avro数据序列化后的数据；
type：avrosource的类型，必须是avro。
bind：要监听的(本机的)主机名或者ip。此监听不是过滤发送方。一台电脑不是说只有一个IP。有多网卡的电脑，对应多个IP。
port：绑定的本地的端口。

Exec Source：于Unix的command在标准输出上采集数据；
type:    source的类型：必须是exec。
command：要执行命令。tail -F ***.log

2. sink
HDFS Sink：将数据传输到hdfs集群中。
type：sink的类型 必须是hdfs。
hdfs.path：hdfs的上传路径。
hdfs.filePrefix：hdfs文件的前缀。默认是:FlumeData
hdfs.rollInterval:    间隔多久产生新文件，默认是:30（秒） 0表示不以时间间隔为准。
hdfs.rollSize：文件到达多大再产生一个新文件，默认是:1024（bytes）0表示不以文件大小为准。
hdfs.rollCount：event达到多大再产生一个新文件，默认是:10（个）0表示不以event数目为准。
hdfs.batchSize：每次往hdfs里提交多少个event，默认为100
hdfs.fileType：hdfs文件的格式
hdfs.codeC：压缩方式：gzip, bzip2, lzo, lzop, snappy

Logger Sink将数据作为日志处理（根据flume中的设置的日志方式来显示）
要在控制台显示在运行agent的时候加入：-Dflume.root.logger=INFO,console 。Flume的目录的 Logs/flume.log。
type：sink的类型：必须是 logger。
maxBytesToLog：打印body的最长的字节数 默认为16

Avro Sink：数据被转换成Avro Event，然后发送到指定的服务端口上。
type：sink的类型：必须是 avro。
hostname：指定发送数据的目的地主机名或者ip
port：指定发送数据的端口

3. channel
Memory Channel使用内存作为数据的存储。
channel的类型：必须为memory
capacity：channel中的最大event数目
transactionCapacity：channel中允许事务的最大event数目

4. Interceptor
Timestamp Interceptor 时间戳拦截器 在header里加入key为timestamp，value为当前时间。
type：拦截器的类型，必须为timestamp
preserveExisting：如果此拦截器增加的key已经存在，如果这个值设置为true则保持原来的值，否则覆盖原来的值。默认为false

Host Interceptor 主机名或者ip拦截器，在header里加入ip或者主机名
type：拦截器的类型，必须为host
preserveExisting：如果此拦截器增加的key已经存在，如果这个值设置为true则保持原来的值，否则覆盖原来的值。默认为false
useIP：如果设置为true则使用ip地址，否则使用主机名，默认为true
hostHeader：使用的header的key名字，默认为host

Static Interceptor 静态拦截器，是在header里加入固定的key和value。
type：avrosource的类型，必须是static。
preserveExisting: 如果此拦截器增加的key已经存在，如果这个值设置为true则保持原来的值，否则覆盖原来的值。默认为false
key: 静态拦截器添加的key的名字
value: 静态拦截器添加的key对应的value值

5. Channel Selector
Multiplexing Channel Selector 根据header的key的值分配channel
selector.type  默认为replicating
selector.header：选择作为判断的key
selector.default：默认的channel配置
selector.mapping.*：匹配到的channel的配置
---------------------