20.大数据学习之旅——flume安装和配置

实现步骤：

1. 安装jdk，1.6版本以上
2. 上传flume的安装包
3. 解压安装
4. 在conf目录下，创建一个配置文件，比如：template.conf（名字可以不固定,后缀也可以不固定）
5. 配置agent组件
   相关配置：

#配置Agent a1 的组件
a1.sources=r1
a1.channels=c1 (可以配置多个，以空格隔开，名字自己定）
a1.sinks=s1 (可以配置多个，以空格隔开，名字自己定）
#描述/配置a1的r1
a1.sources.r1.type=netcat (netcat表示通过指定端口来访问)
a1.sources.r1.bind=0.0.0.0 (表示本机)
a1.sources.r1.port=44444 （指定的端口，此端口不固定，但是不要起冲突）
#描述a1的s1
a1.sinks.s1.type=logger (表示数据汇聚点的类型是logger日志）
#描述a1的c1
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100
#位channel 绑定 source和sink
a1.sources.r1.channels=c1 （一个source是可以对应多个通道的）
a1.sinks.s1.channel=c1 (一个sink,只能对应一个通道）

6.根据指定的配置文件，来启动flume
进入flume的bin目录
执行： ./flume-ng agent -n a1 -c ../conf -f ../conf/template.conf -Dflume.root.logger=INFO,console

如果出现上图所示，证明配置和启动成功

7.通过nc来访问：
nc localhost 44444
hello flume

或者：
通过外部http请求访问对应的ip和端口
比如：http://192.168.234.163:44444/hello
在虚拟机这边，会出现如下提示：

启动命令解释

…/bin/flume-ng agent -n a1 -c ./ -f ./source-netcat.conf -Dflume.root.logger=INFO,console

上一篇 19.大数据学习之旅——flume介绍