ambari2.6安装alluxio2.1.0

ambari2.6安装alluxio2.1.0

准备的文件:

alluxio-2.1.0-bin.tar.gz (自己去下载)
ranger-hive-plugin-0.7.0.2.6.5.0-292.jar (如果没有ranger控制权限,涉及的下面相关操作可忽略)
ambari-alluxio-service-master.zip (本人二次开发的ambari插件,实现ambari控制管理alluxio)

链接:https://pan.baidu.com/s/1f_C6E1_ZsqOyonPoUuroVA
提取码:pbk1

step1. Linux环境配置

ambari server节点上执行:

cd /var/lib/ambari-server/resources/stacks/HDP/2.6/services
mkdir ALLUXIO
unzip ambari-alluxio-service-master.zip -d ALLUXIO/
mv alluxio-2.1.0-bin.tar.gz ALLUXIOF/package/files/

由于线上hive通过ranger控制权限,alluxio对ranger管理的hive表会有权限问题,目前只能经过本人修改源码绕过alluxio对ranger的权限管理,已提供重新编译打的jar包:ranger-hive-plugin-0.7.0.2.6.5.0-292.jar

hiveserver2节点上执行:

#均强制覆盖
cp ranger-hive-plugin-0.7.0.2.6.5.0-292.jar /usr/hdp/2.6.5.0-292/hive/lib/ranger-hive-plugin-impl/
cp ranger-hive-plugin-0.7.0.2.6.5.0-292.jar /usr/hdp/2.6.5.0-292/hive2/lib/ranger-hive-plugin-impl/
cp ranger-hive-plugin-0.7.0.2.6.5.0-292.jar /usr/hdp/2.6.5.0-292/ranger-hive-plugin/lib/ranger-hive-plugin-impl/
cp ranger-hive-plugin-0.7.0.2.6.5.0-292.jar /usr/hdp/2.6.5.0-292/ranger-admin/ews/webapp/WEB-INF/classes/ranger-plugins/hive/

由于alluxio自身是root用户启动,无法修改,访问hdfs会有权限问题,需要把root用户加入hdfs组,每台机都需执行:

usermod -a -G hdfs root

新建hdfs上的alluxio的home目录,设置权限

hadoop fs -mkdir /user/alluxio
hadoop fs -chown root:hdfs /user/alluxio
hadoop fs -chmod 755 -R /user/alluxio

由于新安装需要重启ambari-server,此操作对线上无影响

sudo ambari-server restart

step2. ambari配置

ambari2.6安装alluxio2.1.0_第1张图片

ambari2.6安装alluxio2.1.0_第2张图片

通过最近机器负载观察,确定把master节点选择cxy-hdp-node-60 这台机

ambari2.6安装alluxio2.1.0_第3张图片
线上机器由于cxy-hdp-node-171、cxy-hdp-node-172这两台机负载过大,worker节点选择除这两台机机以外的所有Datanode节点

ambari2.6安装alluxio2.1.0_第4张图片

一路next直到这里去掉钩钩

ambari2.6安装alluxio2.1.0_第5张图片

一路next直到安装成功,直到一片绿

ambari2.6安装alluxio2.1.0_第6张图片

重启hiveserver2

ambari2.6安装alluxio2.1.0_第7张图片

你可能感兴趣的:(大数据)