Azkaban之hive的job

1、前提是安装好azkaban

2、从官网上下载azkaban-jobtype-2.5.0.tar.gz这个压缩包 下载地址为:https://s3.amazonaws.com/azkaban2/azkaban-plugins/2.5.0/azkaban-jobtype-2.5.0.tar.gz

3、把下载好的压缩包 移动到你的executor服务的安装目录下的 plugins下例如:azkaban-executor-2.5.0/plugins/这个目录下面

4、解压azkaban-jobtype-2.5.0.tar.gz这个压缩包

 tar -zxvf azkaban-jobtype-2.5.0.tar.gz

5、进入到解压后的目录下 cd azkaban-jobtype-2.5.0/,修改common.properties这个配置文件,在里面添加hive.home=/home/yangxp/apache-hive-1.2.1-bin 这个的hadoop.home是你自己的hadoop的安装目录 ,至此azkaban之hadoop的安装完成。

使用Hive的“一次使用”命令,就是 “hive -e”,具体的脚本写法如下:vim hiveCount.sh

#!/bin/bash

export HIVE_HOME=/home/yangxp/apache-hive-1.2.1-bin

export PATH=$HIVE_HOME/bin:$PATH

echo $HIVE_HOME

hive -e ‘select count(distinct uid) from sodata.sodata2’

通过hive的一次性命令执行脚本的方式是:

[yangxp@master ~]$ hive -e ‘select * from sodata.sodata2 limit 10’

将hive的HQL写入到文件中的执行方式如下:

vim hiveQL.hql

Select * from sodata.sodata2 limit 10

:wq

[yangxp@master ~]$ hive -f hiveQL.hql

6、编写azkaban的job,具体写法如下:

             vim hiveCount.job

             type=command

             command=bash hiveCount.sh

7、将hiveCount.sh和hiveCount.job打包为hivecount-job.zip压缩文件。

hivecount-job.zip

8、然后登陆https://master:8443 azkaban-web界面创建azkaban-hive工程,并上传hivecount-job.zip压缩文件程序

9、点击Excute运行

你可能感兴趣的:(大数据)