Flume Channel
Channels are the repositories where the eventsare staged on a agent. Source adds the events and Sink removes it
一Memory Channel
events存储在内存队列
type:memory
capacity:channel中存储的最大数量的events，默认100
transactionCapacity:每一次事务从source取多少event，或者给sink多少，默认100
keep-alive：添加或者删除event的秒数
byteCapacityBufferPercentage： 定义缓存百分比，默认20
byteCapacity：最大内存所有事件允许总字节数
例子：
a1.channels.c1.type= memory
a1.channels.c1.capacity= 10000
a1.channels.c1.transactionCapacity= 10000
a1.channels.c1.byteCapacityBufferPercentage= 20
a1.channels.c1.byteCapacity= 800000
优点：速度快
缺点：如果一旦宕机或者重启，Channel中的event就没有了，缺乏安全性
二JDBC Channel
events存储在数据库，其实我们也可以知道，肯定影响性能。
type：jdbc
db.type:数据库厂商
driver.class:JDBC driver
driver.url:JDBC url
db.username：用户名
db.password：密码
connection.properties.file:JDBC 连接属性文件
maximum.connections：允许的最大连接数
maximum.capacity：允许的最大容量
例子：
a1.channels.c1.type= jdbc
三Kafka Channel
将events 存储在kafka集群
type：org.apache.flume.channel.kafka.KafkaChannel
brokerList： kafka 集群 broker列表，多个用逗号隔开
zookeeperConnect：kafka集群使用的zookeeper的URI
topic:Channel使用kafka的topic
例子
a1.channels.channel1.type =org.apache.flume.channel.kafka.KafkaChannel
a1.channels.channel1.capacity= 10000
a1.channels.channel1.transactionCapacity= 1000
a1.channels.channel1.brokerList=kafka-2:9092,kafka-3:9092
a1.channels.channel1.topic=channel1
a1.channels.channel1.zookeeperConnect=kafka-1:2181
四File Channel
type:file
checkpointDir:检测点文件所存储的目录,默认~/.flume/file-channel/checkpoint
useDualCheckpoints：备份检测点如果设置为true，backupCheckpointDir必须设置
backupCheckpointDir：备份检测点的备份到所在的目录，不要与数据检测点或者目录重复
dataDirs：数据存储所在的目录设置，默认~/.flume/file-channel/data
transactionCapacity：事务最大容量
checkpointInterval：检测点之间的时间值设置
maxFileSize：每一个文件最大值设置
minimumRequiredSpace：最小的请求闲置空间
capacity：Channel的最大容量
keep-alive：一个put操作的等待时间值
encryption.activeKey:使用Key去加密新数据
encryption.cipherProvider:密码提供者类型，支持的类型有：AESCTRNOPADDING
encryption.keyProvider:关键字提供者类型，支持的类型有：JCEKSFILE
encryption.keyProvider.keyStoreFile:keystore文件的路径
encrpytion.keyProvider.keyStorePasswordFile:存储关键字密钥文件的路径
encryption.keyProvider.keys:列出所有的关键字
encyption.keyProvider.keys.*.passwordFile：可选关键字密钥文件的路径
特点：安全 可靠；但是速度慢了
例子：
a1.channels.c1.type= file
a1.channels.c1.checkpointDir= /mnt/flume/checkpoint
a1.channels.c1.dataDirs= /mnt/flume/data
a1.channels.c1.encryption.activeKey= key-0
a1.channels.c1.encryption.cipherProvider= AESCTRNOPADDING
a1.channels.c1.encryption.keyProvider= key-provider-0
a1.channels.c1.encryption.keyProvider= JCEKSFILE
a1.channels.c1.encryption.keyProvider.keyStoreFile= /path/to/my.keystore
a1.channels.c1.encryption.keyProvider.keyStorePasswordFile= /path/to/my.keystore.password
a1.channels.c1.encryption.keyProvider.keys= key-0
五Spillable Memory Channel
将event存储内存队列和磁盘上，一般是当内存队列写满了，然后额外到来的events就存入FileChannel.相当于是MemoryChannel 和 FileChannel
进行一个整合，两者优点都有了，但是两者缺点缺点也都有了
type：SPILLABLEMEMORY
memoryCapacity：存储在内存队列中event最大个数，默认10000
overflowCapacity：存储在磁盘的最大event个数，默认100000000
byteCapacityBufferPercentage： 定义缓存百分比，默认20
byteCapacity：最大内存所有事件允许总字节数
例子：
a1.channels.c1.type= SPILLABLEMEMORY
a1.channels.c1.memoryCapacity= 10000
a1.channels.c1.overflowCapacity= 1000000
a1.channels.c1.byteCapacity= 800000
a1.channels.c1.checkpointDir= /mnt/flume/checkpoint
a1.channels.c1.dataDirs= /mnt/flume/data
如果想disabledmemory channel
a1.channels.c1.type= SPILLABLEMEMORY
a1.channels.c1.memoryCapacity= 0
a1.channels.c1.overflowCapacity= 1000000
a1.channels.c1.checkpointDir= /mnt/flume/checkpoint
a1.channels.c1.dataDirs= /mnt/flume/data
如果想disbaledfile channel
a1.channels.c1.type= SPILLABLEMEMORY
a1.channels.c1.memoryCapacity= 100000
六 FlumeChannel Selector
Flume可以根据需求，将不同的文件传输到不同Channel，提供了2种方式：replicating& multiplexing
replicating：复制，将文件传到所有的channel中，不对channel进行区别对待
multiplexing：多路传输，根据header对日志进行分类，根据分类规则将不同的日志push到不同channel中。从而对文件进行初步的分类
如果sourceselect.type没有指定，默认就是replicating。
selector.optional：指定哪些是可选的channel，意思就是如果这个channel,写失败了，将被忽略，不影响事务。但如果不是optional的channel写失败，那么导致事务也就失败
现在需要将2个日志文件发往不同的Channel，那肯定我们需要选择
Selectortype是multiplexing。
例子
a1.channels= c1 c2 c3 c4
a1.sources.r1.selector.type= multiplexing
a1.sources.r1.selector.header= state
a1.sources.r1.selector.mapping.CZ= c1
a1.sources.r1.selector.mapping.US= c2 c3
a1.sources.r1.selector.default= c4