flume之sink与channel(4)
Hdfs sink(也是最重要的一个)
#sink
test.sinks.si1.type=logger
logger的意思就是把我们收集到的日志打印到我们的屏幕上。是提供我们测试用的
hadoop fs -mkdir /flume/log
hadoop dfsadmin -safemode leave//退出安全模式
test.sinks.si1.type=hdfs
test.sinks.si1.hdfs.path=/flume/log
里面也有很多的配置项，在官方的文档里面有。
测试
test.sources=so1//我们的agent的名字叫test，agent的source叫so1
test.sinks=si1//agent的sink叫si1
test.channels=c1//agent的channel叫c1
#source
test.sources.so1.type=syslogtcp
test.sources.so1.host=192.168.80.100
test.sources.so1.port=5140
test.sources.so1.interceptors=i1
test.sources.so1.interceptors.i1.type=org.apache.flume.interceptor.TimestampInterceptor$Builder//event里面会多一些东西，这些东西我们在修改我们的文件名的时候有用，这个是flume给我们提供的。最重要的是多了一个headers
#sink
test.sinks.si1.type=hdfs
test.sinks.si1.hdfs.path=/flume/log
test.sinks.si1.hdfs.filePrefix=log%H%M//使用这个东西，必须有上面的interceptor
#channel
test.channels.c1.type=memory
test.channels.c1.capacity=1000
test.channels.c1.transactionCapacity=100
test.sources.so1.channels=c1
test.sinks.si1.channel=c1//把三个关联起来
当然了flume还有很多类型：
Flume Sinks
§ HDFS Sink
§ Logger Sink
§ Avro Sink
§ Thrift Sink
§ IRC Sink
§ File Roll Sink
§ Null Sink
§ HBaseSinks
channel
#channel
test.channels.c1.type=memory类型呢也有好几个，需要什么我们可以自己配置，这儿就不多说了
Flume Channels
§ Memory Channel这个是我们需要高性能的时候用的，但是缺点就是我们的文件系统如果出现问题了，我们的数据就会丢失
§ JDBC Channel这个意思我们可以先把数据存到数据库
§ File Channel这个是可以把数据先存到文件里面，安全了，但是效率不高。