三、安装Ambari+HDP

大家在安装之前，一定要先确认好安装哪个版本的，如果不知道自己需要安装哪个版本的，可以先到官网查看一下每个版本的差别：
https://zh.hortonworks.com/products/data-platforms/hdp/

hdpversion.png

比如：在3.0版本以后，已经不支持flume组件了，如果说业务当中有需要flume的话，那就最好不要安装3.0及其以上版本的了，因为如果自己手动集成的话，会相当麻烦，我就踩过这个坑，最后结果就是没踩出结果。。。如果有踩出结果的同学，麻烦不吝赐教哈。。

3.1安装Ambari

3.1.1 在mysql中创建ambari数据库

1）创建数据库

mysql> create database ambari default character set utf8;
mysql> create user 'ambari'@'%' identified by 'bigdata';
mysql> grant all privileges on ambari. * to 'ambari'@'%';
mysql> flush privileges;

2）添加mysql驱动包
创建目录：[root@amabri ~]# mkdir -p /usr/share/java/
上传驱动包：将mysql-connector-java-5.1.27.jar上传到该目录
修改jar包权限：[root@master java]# chmod 777 mysql-connector-java-5.1.27.jar
建立软连接：[root@ambari java]# ln -s mysql-connector-java-5.1.27.jar mysql-connector-java.jar

3.1.2准备本地数据源

1）创建路径

mkdir -p /var/www/html/hdp_repo

2）将下面四个压缩包放入该目录

官网下载：https://docs.hortonworks.com/

hdp1.png

我们这里选择3.0.1版本进去

hdp2.png

我们选择“ Installation”

hdp3.png

选择“Apache Ambari Installation”

hdp4.png

选择“3 Obtaining Public Repostories”

https://docs.hortonworks.com/HDPDocuments/Ambari-2.7.1.0/bk_ambari-installation/content/ambari_repositories.html

然后右侧选择离线安装包下载

接着再下载HDP离线安装包

hdp5.png

完整的就是下列四个压缩包：
ambari-2.7.1.0-centos7.tar.gz
HDP-3.0.1.0-centos7-rpm.tar.gz
HDP-GPL-3.0.1.0-centos7-gpl.tar.gz
HDP-UTILS-1.1.0.22-centos7.tar.gz

hdp6.png

3）将四个压缩文件解压

4）浏览器验证

打开浏览器输入：http://39.104.115.79/hdp_repo/

hdp7.png

5）在/etc/yum.repos.d下创建.repo文件
ambari.repo:

[ambari-2.7.1.0]
name=ambari_repo
baseurl=http://39.104.115.79/hdp_repo/ambari/centos7/2.7.1.0-169
enabled=true
gpgcheck=false

hdp.repo:

[HDP-3.0.1.0]
name=hdp_repo
baseurl= http://39.104.115.79/hdp_repo/HDP/centos7/3.0.1.0-187/
enabled=true
gpgcheck=false

hdp-utils.repo:

[HDP-UTILS-1.1.0.22]
name=hdp_utils_repo
baseurl= http://39.104.115.79/hdp_repo/HDP-UTILS/centos7/1.1.0.22/
enabled=true
gpgcheck=false

hdp-gpl.repo:

[HDP-GPL-3.0.1.0-187]
name=hdp_gpl_repo
baseurl= http://39.104.115.79/hdp_repo/HDP-GPL/centos7/3.0.1.0-187/
enabled=true
gpgcheck=false

3.1.3执行安装

1）通过yum安装Ambari Server
[root@ambari ~]# yum install ambari-server

hdp8.png

出现如果信息，表示安装成功

2）建立Ambari与MySQL驱动的连接
[root@ambari ~]# ambari-server setup
--jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar

hdp9.png

3）初始化Ambari Server
[root@ambari ~]# ambari-server setup

hdp10.png

hdp11.png

4）初始化Ambari数据库
在Ambari也即是MySQL节点执行以下命令：
[root@ambari ~]# mysql -uroot -p -Dambari
< /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

5）启动Ambari
[root@mambari ~]# ambari-server start

hdp12.png

6）浏览器验证
浏览器输入： http://39.104.115.79:8080/#/login

3.2安装HDP

3.2.1集群名称

hdp_bigdata

3.2.2选择HDP版本

3.0.1.0
选择本地仓库，并删除不需要的OS

hdp13.png

最后输入HDP-3.0，HDP-3.0-GPL，HDP-UTILS-1.1.0.22的http地址，点击Next

http://39.104.115.79/hdp_repo/HDP/centos7/3.0.1.0-187/

http://39.104.115.79/hdp_repo/HDP-GPL/centos7/3.0.1.0-187/

http://39.104.115.79/hdp_repo/HDP-UTILS/centos7/1.1.0.22/

3.2.3安装选项

hdp14.png

输入三台机器上hostname以及ambari所在机器的公钥文件，点击“Next”

3.2.4确认机器

hdp15.png

一定要确保Status这一栏都是Success，再点击Next

3.2.5选择服务

hdp16.png

先只安装HDFS、Zookeeper和Ambari Metrics（这个就算不选也会自动安装），点击Next

3.2.6分配机器

hdp17.png

3.2.7分配从节点和客户端

hdp18.png

三个节点全部安装DataNode，点击Next

3.2.8自定义服务

hdp19.png

设置好密码，并且要用一个txt统一记下密码，点击Next

hdp20.png

全部默认，点击Next

hdp21.png

全部默认，点击Next

hdp22.png

全部默认，点击Next

3.2.9重新检查

hdp23.png

hdp24.png

点击Reploy

3.2.10安装、启动和测试

hdp25.png

出现：Python script has been killed due to timeout after waiting 1800 secs

hdp26.png

解决方法：vim /etc/yum.conf，把installonly_limit的值设成3600，然后重启ambari-server

hdp27.png

点击Next

3.2.11 汇总

hdp28.png

点击complete完成

hdp29.png

3.3HDP添加服务

3.3.1添加yarn+marpreduce2

1）参数调整
Ambari Metrics服务参数调整
hbase_master_heapsize 这个参数默认值为768，改为2048

hdp30.png

hbase_master_xmn_size 这个参数值需要调大，默认值为192M，这个参数值不能小于12% of hbase_master_heapsize + hbase_regionserver_heapsize

hdp31.png

改为512
改完之后重启Ambari Metrics服务

1）Add Service

hdp32.png

hdp33.png

hdp34.png

hdp35.png

hdp36.png

3.3.2添加hive

在master.gey.com这台机器上重新安装了mysql服务（按照上一篇讲述的安装），并创建hive元数据库。。。

mysql> create database metastore default character set utf8;
mysql> create user 'hive'@'%' identified by 'bigdata';
mysql> grant all privileges on metastore. * to 'hive'@'%';
mysql> flush privileges;