Flume-ng(Flume-1.6.0) CentOS7配置过程

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

1、配置JDK环境(JDK6.0版本以上)

解压JDK tar包到本地文件夹/usr/local/java目录。

打开终端输入vi /etc/profile命令(使用GNOME桌面的话可以直接gedit /etc/profile 直接save保存更方便)。

按insert键在文件末尾追加:

export JAVA_HOME=/usr/local/java/jdk1.7.0_79
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

按Esc键退出编辑,输入:wq保存并退出。

此时在终端中输入java -version确认配置成功,倘若显示OpenJDK,需先将其卸载。

2、配置Flume-1.x.x环境

解压flume tar包到本地文件夹/usr/local/flume目录。

打开终端输入 vi /etc/profile 命令。

按insert键正在文件末尾追加:

export FLUME_HOME=/usr/local/flume/flume-1.6.0
export FLUME_CONF_DIR=$FLUME_HOME/conf
export PATH=.:$PATH::$FLUME_HOME/bin

按Esc键退出编辑,输入:wq保存并退出。

此时在终端中输入flume-ng version确认配置成功。

配置成功结果如下:

160241_JSxg_2478308.png

2、配置代理配置文件

   在flume根目录下的conf文件夹中新建properties文件,文件名可自定义。

   本文定义为flume-conf.properties。

   配置文件内容如下:

   参考官方文档示例:http://flume.apache.org/FlumeUserGuide.html

#单节点配置文件

# a1,r1,k1,c1分别为自定义的代理名称,源名称,接收器名称,通道名称
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# 定义源为netcat连接模式,绑定IP为localhost,端口为44444
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

# 定义接收器输出日志
a1.sinks.k1.type = logger

# 定义内存通道
a1.channels.c1.type = memory
a1.channels.c1.capacity = 100
a1.channels.c1.transactionCapacity = 100

# 绑定源r1和接收器k1到通道c1
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

3、测试连接

以root用户权限在终端进入flume根目录(/usr/local/flume/flume-1.6.0)。

输入命令:其中a1为自定义的代理名称。

bin/flume-ng agent -n a1 -c conf -f conf/flume-conf.properties

运行结果如下:末尾光标停留

161922_hpht_2478308.png

打开新终端,输入telnet IP 端口 或 ncat IP 端口 命令

本文输入命令:telnet 127.0.0.1 44444 输入“hello flume-ng”测试,回车后显示OK。

161956_CmXG_2478308.png

此时查看/usr/local/flume/flume-1.6.0/logs/flume.log文件。

可以查看代理启动记录和Event事件记录。如下:

162026_aOrY_2478308.png

日志输出地址由/usr/local/flume/flume-1.6.0/conf/log4j.properties文件定义。

 

转载于:https://my.oschina.net/u/2478308/blog/731838

你可能感兴趣的:(Flume-ng(Flume-1.6.0) CentOS7配置过程)