Flume安装部署 for Mac or Linux

最近学习到Flume，记录一下部署过程，以便后续使用

Flume官网 http://flume.apache.org/

我所使用的版本是 flume-ng-1.6.0-cdh5.15.1 

CDH版下载地址为 http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.15.1.tar.gz

1）前置条件

1. Java运行时环境-Java 1.7或更高版本 JDK安装可以参考这篇

2. 内存-足够的内存，用于sources，channels或sinks使用的配置

3. 磁盘空间-足够的磁盘空间用于channels或sinks使用的配置

4. 目录权限-使用的目录的读/写权限

    注意：具体的flume版本可能需要的JDK版本会不一样，有的需要JDK1.8以上，请根据自己的情况选择

2）解压

解压到指定文件夹

tar -zxvf flume-ng-1.6.0-cdh5.15.1.tar.gz -C ~/programming/

3）配置环境变量

编辑~/.bash_profile 文件

vi ~/.bash_profile

 在文件中添加

export FLUME_HOME=/Users/zhaohaichao/programming/apache-flume-1.6.0-cdh5.15.1-bin
export PATH=$FLUME_HOME/bin:$PATH

 source 文件使环境变量生效

source ~/.bash_profile

4）配置Flume

进入flume配置文件夹

cd $FLUME_HOME/conf

复制模板文件

cp flume-env.sh.template flume-env.sh

修改 vi flume-env.sh 添加JAVA_HOME

export JAVA_HOME=/Users/zhaohaichao/programming/jdk1.8.0_161

5）验证 

进入flume的bin目录

cd ../bin/

执行以下命令

flume-ng version

出现下列信息就是安装成功了

Flume 1.6.0-cdh5.15.1
Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git
Revision: 28ab71a94a53c4a00a1c5d9feb44d88b9d19dfa2
Compiled by jenkins on Thu Aug  9 09:36:02 PDT 2018
From source with checksum 531e4c96da9ba2f60849657cbedd7ed5