版本介绍
HDP安装版本如下，可根据自身情况选择其他版本，不同版本安装步骤差异不大，注意下载与自己Linux系统版本对应的HDP/Ambari安装包。下载地址 https://docs.hortonworks.com/
- Centos7
- Ambari 2.6.1.0
- HDP 2.6.4.0
- HDP-UTILS 1.1.0.22
- HDP-GPL 2.6.4.0
- JDK1.8
- Tomcat 9.x (搭建本地HTTP YUM源)
服务器环境准备
服务器列表，以三台服务器为例
192.168.0.1
192.168.0.2
192.168.0.3
关闭防火墙
三个节点分别执行
systemctl stop firewalld
systemctl disable firewalld
时钟同步（设置步骤略）
JDK1.8 安装
hdp1 执行
下载后解压即可，配置环境变量
vi /etc/profile
export JAVA_HOME=/usr/local/jdk
export CLASSPATH=$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin
保存
source /etc/profile
scp -r /usr/local/jdk hdp2:/usr/local
scp -r /usr/local/jdk hdp3:/usr/local
scp /etc/profile hdp2:/etc
scp /etc/profile hdp3:/etc
ssh hdp2 source /etc/profile
ssh hdp3 source /etc/profile
配置hostname
三个节点分别执行
hostname hdp1
hostnamectl --static set-hostname hdp1
hostname hdp2
hostnamectl --static set-hostname hdp2
hostname hdp3
hostnamectl --static set-hostname hdp3
vi /etc/hosts
127.0.0.1 localhost.domain.com localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost.domain.com localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.0.1 hdp1
192.168.0.2 hdp2
192.168.0.3 hdp3
配置免密登录
三个节点分别执行
ssh-keygen -t rsa
一路enter
hdp2 执行
scp /root/.ssh/id_rsa.pub hdp1:/root/.ssh/id_rsa.pub-hdp2
输入密码
hdp3 执行
scp /root/.ssh/id_rsa.pub hdp1:/root/.ssh/id_rsa.pub-hdp3
输入密码
hdp1 执行
cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
cat /root/.ssh/id_rsa.pub-hdp2 >> /root/.ssh/authorized_keys
cat /root/.ssh/id_rsa.pub-hdp3 >> /root/.ssh/authorized_keys
hdp1 执行
chmod 600 /root/.ssh/authorized_keys
scp /root/.ssh/authorized_keys hdp2:/root/.ssh/
scp /root/.ssh/authorized_keys hdp3:/root/.ssh/
hdp2/hdp3 执行
chmod 600 /root/.ssh/authorized_keys
hdp1 测试
ssh hdp2
Amabri/HDP本地YUM仓库
Tomcat 部署
hdp1节点执行
cd /usr/local/tomcat/conf
vim web.xml
搜索listings关键字，value设为true
listings
true
启动Tomcat服务
Amabri/HDP安装包
hdp1节点执行
将Amabri/HDP安装包放置Tomcat目录下
cd /usr/local/tomcat/webapps
mdkir hdp
cd hdp
将Amabri/HDP等压缩包解压至hdp目录下
注意HDP-UTILS压缩包内无根目录，须提前创建HDP-UTILS目录
1-hdp-tomcat-dirs.png
Ambari/HDP本地repo文件配置
cd /etc/yum.repos.d
vim ambari.repo
[ambari-2.6.1.0]
name=ambari Version - ambari-2.6.1.0
baseurl=http://hdp1:8080/hdp/ambari/centos7/2.6.1.0-143
gpgcheck=0
gpgkey=http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.6.1.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
vim hdp.repo
[HDP-2.6.4.0]
name=HDP Version - HDP-2.6.4.0
baseurl=http://hdp1:8080/hdp/HDP/centos7/2.6.4.0-91
gpgcheck=0
gpgkey=http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.4.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
vim hdp-utils.repo
[HDP-UTILS-1.1.0.22]
name=Hortonworks Data Platform Utils Version - HDP-UTILS-1.1.0.22
baseurl=http://hdp1:8080/hdp/HDP-UTILS/
gpgcheck=0
enabled=1
priority=1
vim hdp.gpl.repo
[HDP-GPL-2.6.4.0]
name=HDP-GPL Version - HDP-GPL-2.6.4.0
baseurl=http://hdp1:8080/hdp/HDP-GPL/centos7/2.6.4.0-91
gpgcheck=0
gpgkey=http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.4.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
配置完每个repo文件对应本地tomcat服务baseurl后，可以自行访问测试下
将上面四个repo文件拷贝到所有Ambari/HDP节点上
MySQL安装
Ambari服务/Hive服务等需要用MySQL存储元数据，若已有MySQL服务，则无须安装，若无选择一个节点安装即可。
hdp1执行
yum install mariadb-server mariadb
vim /etc/my.cnf
[mysqld]
character-set-server=utf8
[client]
default-character-set=utf8
[mysql]
default-character-set=utf8
启动服务
systemctl start mariadb
Ambari安装
Amabri-server/agent yum安装
只需在一台节点上安装Ambari-server
hdp1
yum install ambari-server -y
所有节点上安装ambari-agent
yum install ambari-agent -y
部署启动Ambari-server
配置Ambari-server
vim /etc/ambari-server/conf/ambari.properties
添加以下配置
server.jdbc.driver.path=/usr/share/java/mysql-connector-java-5.1.41.jar
client.api.port = 9090
提前在MySQL中创建ambari库
create database ambari
use ambari
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
设置远程访问
create user 'ambari'@'hdp1' identified by 'ambari';
grant all privileges on ambari.* to 'ambari'@'hdp1';
flush privileges;
部署Ambari-server
Ambari-server setup
选择已配置的JDK地址，MySQL数据库
启动Ambari-server
ambari-server start
部署启动Ambari-agent
配置Ambari-agent（所有节点）
vim /etc/ambari-agent/conf/ambari-agent.ini
hostname=hdp1
启动所有节点Ambari-agent
ambari-agent start
HDP安装
Ambari-server页面安装HDP
http://hdp1:9090
默认用户名密码：admin admin
2-ambari-index.png
配置集群名称
选择Launch Install Wizard按钮，配置集群名称，配置后不可以修改，集群名称会被配置为Hadoop defaultFS名称。
选择HDP版本
以下截图版本较老，参考流程即可。
选择HDP 2.6
3-hdp-stack-select.png
修改对应Linux版本后的URL地址，选择redhat7，地址修改为上面步骤中repo文件中配置的地址，其他版本可以点击后面的删除按钮删掉。
HDP-2.6 http://hdp1:8080/hdp/HDP/centos7/2.6.4.0-91
HDP-UTILS http://hdp1:8080/hdp/HDP-UTILS
4-hdp-install-url.png
添加Hosts
配置hostname
hdp1
hdp2
hdp3
选择 Perform manual registration on hosts and do not use SSH
继续下一步即可
5-hdp-hosts.png
6-hdp-hosts-success.png
Hosts添加成功后，可点击查看具体warnings，也可以忽略。
Hosts添加失败，需要查看Ambari-server日志文件查看具体错误。
已知可能出现的问题是需要升级open-ssl。
yum upgrade openssl
安装HDP
选择需要安装的服务，选择服务对应节点，安装即可。
注意事项：
- 服务对应节点上最好都选择安装client
- 服务安装好后，注意修改默认配置中的数据或日志等目录
- 服务安装过程中遇到问题，从安装页面上查看日志定位问题
- Hdfs/Yarn/Hbase等服务可配置HA高可用
- Elasticsearch/Hue等其他Ambari官方不支持应用可从网上搜索第三方开源项目支持，可手动将安装文件添加至Ambari相应目录，通过Ambari管理
7-hdp-services.png