Ambari2.5.2 HDP2.6.2 集成hue4.1
原文链接：http://blog.xumingxiang.com/367.html
参考链接：http://gethue.com/hadoop-hue-3-on-hdp-installation-tutorial/
首先集群上安装了ambari和hdp，hdfs和yarn都启动了HA模式，Spark使用的Spark2.1.1
master1
slave1
slave2
现在要在主节点master1上安装hue并和hdp整合
一：下载hue4.1.0源代码
|
1
2
3
|
[root@master1 /]
cd
/vdb/app
[root@master1 app] wget
[root@master1 app]
tar
-zxvf hue-release-4.1.0/
|
二：下载安装jdk，配置环境变量，详细略
三：下载安装maven
|
1
|
yum
install
maven
|
四：编译
安装依赖包
|
1
2
|
yum -y
install
gcc gcc-c++ asciidoc cyrus-sasl-devel cyrus-sasl-plain cyrus-sasl-gssapi krb5-devel libxml2-devel
libxslt-devel
make
mysql mysql-devel openldap-devel python-devel sqlite-devel openssl-devel gmp-devel libffi-devel
|
编译hue
|
1
2
|
[root@master1 app]
cd
hue-release-4.1.0/
[root@master1 hue-release-4.1.0]
make
apps
|
编译过程比较漫长，慢慢等待即可
五：编译完成后修改文件夹用户组
|
1
2
3
|
[root@master1 hue-release-4.1.0]groupadd hue
[root@master1 hue-release-4.1.0]
useradd
-g hue hue
[root@master1 hue-release-4.1.0]
chown
-R hue.hue
/usr/share/hue
|
六：安装hadoop-httpfs
由于我们的hdfs启用了HA模式，所以需要开启hadoop-httpfs,服务，而HDP是阉割了httpfs的，所以这里需要手动安装，安装也很简单
|
1
|
yum
install
hadoop-httpfs
|
创建软连接：
|
1
|
ln
-s
/usr/hdp/current/hadoop-httpfs/etc/rc
.d
/init
.d
/hadoop-httpfs
/etc/init
.d
/hadoop-httpfs
|
启动：
|
1
|
/etc/init
.d
/hadoop-httpfs
start
|
七：修改hdp配置
7.1）在Ambari管理界面，点击hdfs-》configs-》advanced ，在General 栏勾选 WebHDFS enabled 复选框
7.2）在Ambari管理界面，点击hdfs-》configs-》advanced，在 Custom core-site栏点击 Add Property，添加下面那两个配置项
hadoop.proxyuser.hue.groups=*
hadoop.proxyuser.hue.hosts=*
7.3）在Ambari管理界面，点击hdfs-》configs-》advanced，在 Custom core-site栏点击 Add Property，添加下面那两个配置项
hadoop.proxyuser.livy.groups=*
hadoop.proxyuser.livy.hosts=*
7.4）在Ambari管理界面，点击hdfs-》configs-》advanced，在 Custom core-site栏点击 Add Property，添加下面那两个配置项
hadoop.proxyuser.httpfs.hosts=*
hadoop.proxyuser.httpfs.groups=*
7.5）在Ambari管理界面，点击hdfs-》configs-》advanced，在 Custom hdfs-site栏点击 Add Property，添加下面配置项
dfs.namenode.acls.enabled=true
7.6）在Ambari管理界面，点击oozie-》configs-》advanced，在 Custom oozie-site栏点击 Add Property，添加下面那两个配置项
oozie.service.ProxyUserService.proxyuser.hue.groups=*
oozie.service.ProxyUserService.proxyuser.hue.hosts=*
7.7）在Ambari管理界面，点击oozie-》configs-》advanced，在 Advanced oozie-site栏修改下面的配置项
oozie.service.AuthorizationService.security.enabled=false
7.8）在Ambari管理界面，点击oozie-》configs-》advanced，在 Advanced oozie-site栏修改下面的配置项
oozie.service.SparkConfigurationService.spark.configurations=*=/etc/spark2/conf
7.9）在Ambari管理界面，点击hive-》configs-》advanced，在Custom hivemetastore-site栏点击 Add Property，添加下面那配置项
hive.server2.enable.doAs=true
7.10）在Ambari管理界面，点击hive-》configs-》advanced，在Custom webhcat-site栏点击 Add Property，添加下面那配置项
webhcat.proxyuser.hue.groups=*
webhcat.proxyuser.hue.hosts=*
7.11）在Ambari管理界面，点击hbase-》configs-》advanced，在Custom hbase-site栏点击Add Property添加下面那两个配置项
hbase.regionserver.thrift.http=true
hbase.thrift.support.proxyuser=true
7.12）在Ambari管理界面，点击Spark2-》configs-》advanced，在Advanced livy2-conf栏配置
livy.server.csrf_protection.enabled=false
八：修改hue配置文件
|
1
|
[root@master1 ~]vim
/vdb/app/hue-release-4
.1.0
/desktop/conf/pseudo-distributed
.ini
|
配置文件较长，仅列出需要修改的配置项
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
|
[desktop]
# hue默认配置是8080，但是8080在Ambari HDP 已经被占用，需要换一个
http_port=8008
time_zone=Asia
/Shanghai
[[database]]
engine=mysql
host=10.205.205.186
port=3306
user=root
password=root
#mysql 数据库服务器上要先建好hue的库
name=hue
[hadoop]
[[hdfs_clusters]]
[[[default]]]
fs_defaultfs=hdfs:
//ns
#webhdfs_url=
# 我们HDFS是HA模式所以使用httpfs 端口
webhdfs_url=http:
//master1
:14000
/webhdfs/v1
hadoop_conf_dir=
/etc/hadoop/conf
[[yarn_clusters]]
[[[default]]]
# master1 必须是Active ResourceManager，否则hue 管理界面检测配置会报错，
# 如果Active切换到了master2，那么这里就是master2，
# 下面的master1也是这个道理
resourcemanager_host=master1
resourcemanager_port=8032
submit_to=True
logical_name=yarn-cluster
security_enabled=
false
resourcemanager_api_url=http:
//master1
:8088
proxy_api_url=http:
//master1
:8088
history_server_api_url=http:
//master1
:19888
# Spark 历史纪录服务地址
spark_history_server_url=http:
//master1
:18081
# 这里需要说明一下，[[[default]]] 和 [[ha]]中各配置一个RM，logical_name名字就是yarn-site.xml中配置的
# URL of the ResourceManager API 这里配置资源管理的地址和端口，对应yarn-site.xml中的
# URL of the HistoryServer API 这里配置历史记录资源管理的地址和端口，对应mapred-site.xml中的
[[[ha]]]
resourcemanager_host=master2
logical_name=yarn-cluster
submit_to=True
resourcemanager_api_url=http:
//master2
:8088/
proxy_api_url=http:
//master2
:8088/
history_server_api_url=http:
//master2
:19888/
security_enabled=
false
spark_history_server_url=http:
//master1
:18081
[beeswax]
hive_server_host=master1
hive_server_port=10000
hive_conf_dir=
/etc/hive/conf
server_conn_timeout=120
[spark]
livy_server_host=master1
# hue配置文件默认是8998，而ambari HDP 环境下的该端口是8999，注意修改，否则hue 管理界面检测配置会报错
livy_server_port=8999
livy_server_session_kind=yarn
[filebrowser]
show_download_button=
true
[hbase]
hbase_clusters=(Cluster|master1:9090)
hbase_conf_dir=
/etc/hbase/conf
[zookeeper]
[[clusters]]
[[[default]]]
host_ports=master1:2181,slave1:2181,slave2:2181
[liboozie]
oozie_url=http:
//master1
:11000
/oozie
[libzookeeper]
ensemble=master1:2181,slave1:2181,slave2:2181
|
九：初始化hue数据库
|
1
2
3
4
|
cd
/vdb/app/hue-release-4
.1.0/
source
build
/env/bin/activate
hue syncdb --noinput
hue migrate deactivate
|
十：启动hue
[root@master1 hue-release-4.1.0]#
启动hue之前，先要启动 hbase thrift service，ambari HDP 默认没有启动hbase thrift，需要自己手动启动
|
1
|
[root@master1 bin]
# /usr/hdp/current/hbase-client/bin/hbase-daemon.sh start thrift
|
再启动hue
|
1
|
[root@master1 bin]
# nohup /vdb/app/hue-release-4.1.0/build/env/bin/supervisor &
|
启动完成后在浏览器中访问http://master1:8008即可使用