Ambari HDP Centos7离线安装

版本介绍

HDP安装版本如下，可根据自身情况选择其他版本，不同版本安装步骤差异不大，注意下载与自己Linux系统版本对应的HDP/Ambari安装包。下载地址 https://docs.hortonworks.com/

• Centos7
• Ambari 2.6.1.0
• HDP 2.6.4.0
• HDP-UTILS 1.1.0.22
• HDP-GPL 2.6.4.0
• JDK1.8
• Tomcat 9.x (搭建本地HTTP YUM源)

服务器环境准备

服务器列表，以三台服务器为例

192.168.0.1

192.168.0.2

192.168.0.3

关闭防火墙

三个节点分别执行

systemctl stop firewalld     
systemctl disable firewalld

时钟同步（设置步骤略）

JDK1.8 安装

hdp1 执行

下载后解压即可，配置环境变量

vi /etc/profile

export JAVA_HOME=/usr/local/jdk
export CLASSPATH=$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin

保存

source /etc/profile

scp -r /usr/local/jdk hdp2:/usr/local
scp -r /usr/local/jdk hdp3:/usr/local

scp /etc/profile  hdp2:/etc
scp /etc/profile  hdp3:/etc

ssh hdp2 source /etc/profile
ssh hdp3 source /etc/profile

配置hostname

三个节点分别执行

hostname hdp1
hostnamectl --static set-hostname hdp1

hostname hdp2
hostnamectl --static set-hostname hdp2

hostname hdp3
hostnamectl --static set-hostname hdp3


vi /etc/hosts

127.0.0.1  localhost.domain.com localhost localhost.localdomain localhost4 localhost4.localdomain4
::1        localhost.domain.com localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.0.1    hdp1
192.168.0.2    hdp2
192.168.0.3    hdp3

配置免密登录

三个节点分别执行

ssh-keygen -t rsa

一路enter

hdp2 执行

scp /root/.ssh/id_rsa.pub hdp1:/root/.ssh/id_rsa.pub-hdp2

输入密码

hdp3 执行

scp /root/.ssh/id_rsa.pub hdp1:/root/.ssh/id_rsa.pub-hdp3

输入密码

hdp1 执行

cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys 
cat /root/.ssh/id_rsa.pub-hdp2 >> /root/.ssh/authorized_keys
cat /root/.ssh/id_rsa.pub-hdp3 >> /root/.ssh/authorized_keys

hdp1 执行

chmod 600 /root/.ssh/authorized_keys
scp /root/.ssh/authorized_keys hdp2:/root/.ssh/
scp /root/.ssh/authorized_keys hdp3:/root/.ssh/

hdp2/hdp3 执行

chmod 600 /root/.ssh/authorized_keys

hdp1 测试

ssh hdp2 

Amabri/HDP本地YUM仓库

Tomcat 部署

hdp1节点执行

cd /usr/local/tomcat/conf

vim web.xml

搜索listings关键字，value设为true


    listings
    true


启动Tomcat服务

Amabri/HDP安装包

hdp1节点执行

将Amabri/HDP安装包放置Tomcat目录下

cd /usr/local/tomcat/webapps

mdkir hdp

cd hdp

将Amabri/HDP等压缩包解压至hdp目录下

注意HDP-UTILS压缩包内无根目录，须提前创建HDP-UTILS目录

1-hdp-tomcat-dirs.png

Ambari/HDP本地repo文件配置

cd /etc/yum.repos.d

vim ambari.repo

[ambari-2.6.1.0]
name=ambari Version - ambari-2.6.1.0
baseurl=http://hdp1:8080/hdp/ambari/centos7/2.6.1.0-143
gpgcheck=0
gpgkey=http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.6.1.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

vim hdp.repo

[HDP-2.6.4.0]
name=HDP Version - HDP-2.6.4.0
baseurl=http://hdp1:8080/hdp/HDP/centos7/2.6.4.0-91
gpgcheck=0
gpgkey=http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.4.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

vim hdp-utils.repo

[HDP-UTILS-1.1.0.22]
name=Hortonworks Data Platform Utils Version - HDP-UTILS-1.1.0.22
baseurl=http://hdp1:8080/hdp/HDP-UTILS/
gpgcheck=0
enabled=1
priority=1

vim hdp.gpl.repo

[HDP-GPL-2.6.4.0]
name=HDP-GPL Version - HDP-GPL-2.6.4.0
baseurl=http://hdp1:8080/hdp/HDP-GPL/centos7/2.6.4.0-91
gpgcheck=0
gpgkey=http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.4.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

配置完每个repo文件对应本地tomcat服务baseurl后，可以自行访问测试下

将上面四个repo文件拷贝到所有Ambari/HDP节点上

MySQL安装

Ambari服务/Hive服务等需要用MySQL存储元数据，若已有MySQL服务，则无须安装，若无选择一个节点安装即可。

hdp1执行

yum install mariadb-server mariadb

vim /etc/my.cnf

[mysqld]
character-set-server=utf8 
[client]
default-character-set=utf8 
[mysql]
default-character-set=utf8

启动服务

systemctl start mariadb

Ambari安装

Amabri-server/agent yum安装

只需在一台节点上安装Ambari-server

hdp1

yum install ambari-server -y

所有节点上安装ambari-agent

yum install ambari-agent -y

部署启动Ambari-server

配置Ambari-server

vim /etc/ambari-server/conf/ambari.properties

添加以下配置

server.jdbc.driver.path=/usr/share/java/mysql-connector-java-5.1.41.jar
client.api.port = 9090

提前在MySQL中创建ambari库

create database ambari
use ambari
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

设置远程访问

create user 'ambari'@'hdp1' identified by 'ambari';
grant all privileges on ambari.* to 'ambari'@'hdp1';
flush privileges;

部署Ambari-server

Ambari-server setup

选择已配置的JDK地址，MySQL数据库

启动Ambari-server

ambari-server start

部署启动Ambari-agent

配置Ambari-agent（所有节点）

vim /etc/ambari-agent/conf/ambari-agent.ini 

hostname=hdp1

启动所有节点Ambari-agent

ambari-agent start

HDP安装

Ambari-server页面安装HDP

http://hdp1:9090

默认用户名密码：admin   admin

2-ambari-index.png

配置集群名称

选择Launch Install Wizard按钮，配置集群名称，配置后不可以修改，集群名称会被配置为Hadoop defaultFS名称。

选择HDP版本

以下截图版本较老，参考流程即可。

选择HDP 2.6

3-hdp-stack-select.png

修改对应Linux版本后的URL地址，选择redhat7，地址修改为上面步骤中repo文件中配置的地址，其他版本可以点击后面的删除按钮删掉。

HDP-2.6    http://hdp1:8080/hdp/HDP/centos7/2.6.4.0-91
HDP-UTILS  http://hdp1:8080/hdp/HDP-UTILS

4-hdp-install-url.png

添加Hosts

配置hostname

hdp1
hdp2
hdp3

选择 Perform manual registration on hosts and do not use SSH

继续下一步即可

5-hdp-hosts.png

6-hdp-hosts-success.png

Hosts添加成功后，可点击查看具体warnings，也可以忽略。

Hosts添加失败，需要查看Ambari-server日志文件查看具体错误。

已知可能出现的问题是需要升级open-ssl。

yum upgrade openssl

安装HDP

选择需要安装的服务，选择服务对应节点，安装即可。

注意事项：

• 服务对应节点上最好都选择安装client
• 服务安装好后，注意修改默认配置中的数据或日志等目录
• 服务安装过程中遇到问题，从安装页面上查看日志定位问题
• Hdfs/Yarn/Hbase等服务可配置HA高可用
• Elasticsearch/Hue等其他Ambari官方不支持应用可从网上搜索第三方开源项目支持，可手动将安装文件添加至Ambari相应目录，通过Ambari管理

7-hdp-services.png