Flume学习笔记 --- Flume搭建与配置
1.添加一个Agent
Flume代理配置存储在本地文件中。这里是一个遵循Java属性文件格式的文本文件。可以在同一个配置文件中至指定一个或多个Agent的配置。
配置文件包含代理中每个Source, Sink和Channel的属性以及如何连接称为数据流。
2.配置单个组件
流中的每个组件（source, sink, channel) 都具有特定与类别和实例化的名称，类型和属性集。
例如，Avro源需要主机名（IP地址）和 端口号来接收数据。
channel可以具有最大队列大小（‘容量’）。
HDFS的sink需要知道文件系统的URL，创建文件的路径，文件轮换频率（”hdfs.rollinterval”）
组件的所有此类属性需要在Flume Agent的属性文件中设置。
3.将各组件链接到一起
Agent知道要加载哪些组件以及它们如何连接已构成流程。这是通过列出代理中每个Source、Sink、Channel的名称，然后为每个Sink和Source指定连接的通道来完成。
例如这里是实际例子：（tier1是agent的名字，后面的source、channnel等配置如下）
|
|