【大数据工具】Flume、Sqoop、Azkaban 安装

1. Flume

1、上传解压重命名

tar -zxvf apache-flume-1.9.0-bin.tar.gz 
mv apache-flume-1.9.0-bin flume

2、修改配置文件

cd flume/conf/
mv flume-env.sh.template flume-env.sh
# flume-env.sh 配置Java
export JAVA_HOME=/software/jdk

2. Sqoop

1、上传解压重命名

tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop

2、修改配置文件

cd sqoop/conf/
cp sqoop-env-template.sh sqoop-env.sh
# sqoop-env.sh 文件末尾添加下边配置
export HADOOP_COMMON_HOME=/software/hadoop
export HADOOP_MAPRED_HOME=/software/hadoop
export HBASE_HOME=/software/hbase
export HIVE_HOME=/software/hive
export ZOOCFGDIR=/software/zk/conf

3、加入 MySQL 驱动包到 sqoop 的 lib 目录下

cp /software/mysql-connector-java-5.1.40-bin.jar /software/sqoop/lib/

4、配置环境变量

# /etc/profile
export SQOOP_HOME=/software/sqoop
export PATH=$PATH:$SQOOP_HOME/bin

5、验证是否安装成功 sqoop-version

3. Azkaban

1、上传 azkaban 的三个包

azkaban-executor-server-2.5.0.tar.gz
azkaban-sql-script-2.5.0.tar.gz
azkaban-web-server-2.5.0.tar.gz

2、将安装文件上传到集群，最好上传到安装 hive、sqoop 的机器上，方便命令的执行，并最好统一存放在某个目录下，新建 azkaban 目录，用于存放 azkaban 运行程序

[root@hadoop0 software]# cd azkaban
[root@hadoop0 azkaban]# ll
总用量 4
drwxr-xr-x 7 root root   92 3月  23 19:20 azkaban-executor-2.5.0
drwxr-xr-x 2 root root 4096 3月  23 19:21 azkaban-sql-2.5.0  # sql的压缩包解压后更名
drwxr-xr-x 8 root root  103 3月  23 19:21 azkaban-web-2.5.0

3、启动 Azkaban Web 服务器：

[root@hadoop0 azkaban]# cd azkaban-web-2.5.0/bin
[root@hadoop0 bin]# azkaban-web-start.sh

• 下图所示为启动成功：

• 停止命令：

azkaban-web-shutdown.sh

4、启动 Azkaban Executor 执行器

[root@hadoop0 azkaban]# cd azkaban-executor-2.5.0/bin/
[root@hadoop0 bin]# azkaban-executor-start.sh

• 下图所示为启动成功：

• 停止命令：

azkaban-executor-shutdown.sh

5、查看相关进程

6、通过 Web 页面查看：