ambari2.6安装alluxio2.1.0

ambari2.6安装alluxio2.1.0

准备的文件：

alluxio-2.1.0-bin.tar.gz (自己去下载)
ranger-hive-plugin-0.7.0.2.6.5.0-292.jar （如果没有ranger控制权限，涉及的下面相关操作可忽略）
ambari-alluxio-service-master.zip (本人二次开发的ambari插件，实现ambari控制管理alluxio)

链接：https://pan.baidu.com/s/1f_C6E1_ZsqOyonPoUuroVA
提取码：pbk1

step1. Linux环境配置

在 ambari server节点上执行：

cd /var/lib/ambari-server/resources/stacks/HDP/2.6/services
mkdir ALLUXIO
unzip ambari-alluxio-service-master.zip -d ALLUXIO/
mv alluxio-2.1.0-bin.tar.gz ALLUXIOF/package/files/

由于线上hive通过ranger控制权限，alluxio对ranger管理的hive表会有权限问题，目前只能经过本人修改源码绕过alluxio对ranger的权限管理，已提供重新编译打的jar包：ranger-hive-plugin-0.7.0.2.6.5.0-292.jar

在hiveserver2节点上执行：

#均强制覆盖
cp ranger-hive-plugin-0.7.0.2.6.5.0-292.jar /usr/hdp/2.6.5.0-292/hive/lib/ranger-hive-plugin-impl/
cp ranger-hive-plugin-0.7.0.2.6.5.0-292.jar /usr/hdp/2.6.5.0-292/hive2/lib/ranger-hive-plugin-impl/
cp ranger-hive-plugin-0.7.0.2.6.5.0-292.jar /usr/hdp/2.6.5.0-292/ranger-hive-plugin/lib/ranger-hive-plugin-impl/
cp ranger-hive-plugin-0.7.0.2.6.5.0-292.jar /usr/hdp/2.6.5.0-292/ranger-admin/ews/webapp/WEB-INF/classes/ranger-plugins/hive/

由于alluxio自身是root用户启动，无法修改，访问hdfs会有权限问题，需要把root用户加入hdfs组，每台机都需执行：

usermod -a -G hdfs root

新建hdfs上的alluxio的home目录，设置权限

hadoop fs -mkdir /user/alluxio
hadoop fs -chown root:hdfs /user/alluxio
hadoop fs -chmod 755 -R /user/alluxio

由于新安装需要重启ambari-server，此操作对线上无影响

sudo ambari-server restart

step2. ambari配置

通过最近机器负载观察，确定把master节点选择cxy-hdp-node-60 这台机

线上机器由于cxy-hdp-node-171、cxy-hdp-node-172这两台机负载过大，worker节点选择除这两台机机以外的所有Datanode节点

一路next直到这里去掉钩钩

一路next直到安装成功，直到一片绿

重启hiveserver2