2019独角兽企业重金招聘Python工程师标准>>>
1、配置JDK环境(JDK6.0版本以上)
解压JDK tar包到本地文件夹/usr/local/java目录。
打开终端输入vi /etc/profile命令(使用GNOME桌面的话可以直接gedit /etc/profile 直接save保存更方便)。
按insert键在文件末尾追加:
export JAVA_HOME=/usr/local/java/jdk1.7.0_79
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
按Esc键退出编辑,输入:wq保存并退出。
此时在终端中输入java -version确认配置成功,倘若显示OpenJDK,需先将其卸载。
2、配置Flume-1.x.x环境
解压flume tar包到本地文件夹/usr/local/flume目录。
打开终端输入 vi /etc/profile 命令。
按insert键正在文件末尾追加:
export FLUME_HOME=/usr/local/flume/flume-1.6.0
export FLUME_CONF_DIR=$FLUME_HOME/conf
export PATH=.:$PATH::$FLUME_HOME/bin
按Esc键退出编辑,输入:wq保存并退出。
此时在终端中输入flume-ng version确认配置成功。
配置成功结果如下:
2、配置代理配置文件
在flume根目录下的conf文件夹中新建properties文件,文件名可自定义。
本文定义为flume-conf.properties。
配置文件内容如下:
参考官方文档示例:http://flume.apache.org/FlumeUserGuide.html
#单节点配置文件
# a1,r1,k1,c1分别为自定义的代理名称,源名称,接收器名称,通道名称
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# 定义源为netcat连接模式,绑定IP为localhost,端口为44444
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
# 定义接收器输出日志
a1.sinks.k1.type = logger
# 定义内存通道
a1.channels.c1.type = memory
a1.channels.c1.capacity = 100
a1.channels.c1.transactionCapacity = 100
# 绑定源r1和接收器k1到通道c1
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
3、测试连接
以root用户权限在终端进入flume根目录(/usr/local/flume/flume-1.6.0)。
输入命令:其中a1为自定义的代理名称。
bin/flume-ng agent -n a1 -c conf -f conf/flume-conf.properties
运行结果如下:末尾光标停留
打开新终端,输入telnet IP 端口 或 ncat IP 端口 命令
本文输入命令:telnet 127.0.0.1 44444 输入“hello flume-ng”测试,回车后显示OK。
此时查看/usr/local/flume/flume-1.6.0/logs/flume.log文件。
可以查看代理启动记录和Event事件记录。如下:
日志输出地址由/usr/local/flume/flume-1.6.0/conf/log4j.properties文件定义。