azkaban plugin在cdh cloudera环境下的配置之 HDFS插件

阅读更多

安装HDFS插件

 

1.配置Hadoop环境变量，在/etc/profile文件末尾增加如下配置：

export HADOOP_HOME=/opt/cloudera/parcels/CDH
export HADOOP_CONF_DIR=/etc/hadoop/conf.cloudera.yarn 

执行命令source /etc/profile命令使其立即生效，建议退出终端重新登录，否则会在启动Azkaban Web服务找不到HADOOP_HOME问题。

2.由于CDH集群启用了Kerberos，安装HDFS插件需要使用到Kerberos账号

在KDC中创建一个azkaban/[email protected] 的用户，使用命令导出该用户的keytab文件放在/opt/cloudera/azkaban/目录下

xst -norandkey -k azkaban.keytab azkaban/admin@CLOUDERA.COM

3.修改CDH集群HDFS的core-stie.xml配置文件，增加azkaban代理用户

<property>
    <name>hadoop.proxyuser.azkaban.groups</name>
    <value>*</value>
</property><property>
    <name>hadoop.proxyuser.azkaban.hosts</name>
    <value>*</value>
</property>

安装HDFS插件

将已经编译好了HDFS的插件azkaban-hdfs-viewer-3.0.0.tar.gz拷贝至/opt/cloudera/azkaban/azkaban-web-server/plugins/viewer目录下

 

 cp azkaban-hdfs-viewer-3.0.0.tar.gz /opt/cloudera/azkaban/azkaban-web-server/plugins/viewer/

进入plugins/views目录下解压azkaban-hdfs-viewer-3.0.0.tar.gz包并重命名为hdfs

 

进入hdfs/conf目录修改插件配置文件plugin.properties内容如下

viewer.name=HDFS
viewer.path=hdfs
viewer.order=1
viewer.hidden=false
viewer.external.classpaths=extlib/*
viewer.servlet.class=azkaban.viewer.hdfs.HdfsBrowserServlet
hadoop.security.manager.class=azkaban.security.HadoopSecurityManager_H_2_0
azkaban.should.proxy=true
proxy.user=hdfs/admin
proxy.keytab.location=/opt/cloudera/azkaban/hdfs.keytab
allow.group.proxy=true
file.max.lines=1000

 

由于集群的Hadoop版本为hadoop2所以hadoop.security.manager.class需要指定为azkaban.security.HadoopSecurityManager_H_2_0

5.拷贝CDH集群中的依赖包至/opt/cloudera/azkaban/azkaban-web-server/extlib目录下

[root@ip-172-31-21-83 ~]# cd /opt/cloudera/parcels/CDH/jars/
[root@ip-172-31-21-83 jars]# scp commons-cli-1.2.jar hadoop-auth-2.6.0-cdh5.13.1.jar hadoop-common-2.6.0-cdh5.13.1.jar hadoop-hdfs-2.6.0-cdh5.13.1.jar protobuf-java-2.5.0.jar commons-configuration-1.7.jar hadoop-yarn-api-2.6.0-cdh5.13.1.jar hadoop-yarn-common-2.6.0-cdh5.13.1.jar /opt/cloudera/azkaban/azkaban-web-server/extlib/
[root@ip-172-31-21-83 jars]# scp htrace-core* protobuf-java-2.5.0.jar /opt/cloudera/azkaban/azkaban-web-server/extlib/

由于CDH集群Hadoop为2.x，所以需要将hdfs插件lib目录下的安全认证的jar包替换为2.x版本

将编译插件/root/azkaban-plugins/dist/hadoopsecuritymanager-yarn/jars目录下的azkaban-hadoopsecuritymanageryarn-3.0.0.jar包拷贝至/opt/cloudera/azkaban/azkaban-web-server/plugins/viewer/hdfs/lib/

 

重启Azkaban-web-server服务即可