VMware下centos7安装ambari并搭建hdp集群
虚拟机安装centos7教程：https://my.oschina.net/u/3964535/blog/2001945
安装环境：centos7
集群环境：（第一次安装，建议使用两台机器即可，成功后根据需要配置多台）
机器名 IP 备注
ambari.server.com 192.168.66.135 主节点 centos 7（2G + 40G）
ambari.agent.com 192.168.66.136 子节点 centos 7（3G + 40G）
注意：子节点虚拟机先不用安装，因为主节点和子节点的许多配置需要保持一致，因此为了方便，在ambari.server.com上配置好后,直接克隆该ambari.server.com虚拟机作为子节点ambari.agent.com即可，在子节点ambari.agent.com上只需更改hostname、IP地址、MAC地址等即可，不需要再重复配置。
配置环境（ambari.server.com）
1、 修改主机名并查看
[root@localhost ~]# hostnamectl set-hostname ambari.server.com
[root@localhost ~]# hostname
2、 配置hosts
[root@localhost ~]# vi /etc/hosts
添加如下信息（用于节点之间互相通信）
192.168.66.135 ambari.server.com
192.168.66.136 ambari.agent.com
3、 关闭防火墙（节点之间访问端口，不关闭防火墙访问不了，后期可根据需要开放指定端口）
[root@localhost ~]# systemctl disable firewalld.service
[root@localhost ~]# systemctl stop firewalld.service
4、 关闭selinux
[root@localhost ~]# vi /etc/sysconfig/selinux
修改 SELINUX = enforcing 为 SELINUX = disabled
5、 更改yum源（下载更快）
5.1 备份
[root@localhost ~]# mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
5.2 更换
[root@localhost ~]# cd /etc/yum.repos.d/
[root@localhost yum.repos.d]# wget http://mirrors.163.com/.help/CentOS7-Base-163.repo
5.3 更新
[root@localhost yum.repos.d]# yum clean all
[root@localhost yum.repos.d]# yum makecache
6、 配置时钟同步
6.1 安装
[root@localhost yum.repos.d]# yum install -y ntp
6.2 设置开机自启
[root@localhost yum.repos.d]# systemctl enable ntpd
6.3 启动ntp
[root@localhost yum.repos.d]# systemctl start ntpd
6.4 查看ntp状态
[root@localhost yum.repos.d]# systemctl is-enabled ntpd
7、 安装JDK
7.1 解压
[root@localhost yum.repos.d]# cd /usr/local
[root@localhost local]# mkdir jdk8
[root@localhost local]# cd jdk8
[root@localhost jdk8]# mkdir /downloads
[root@localhost jdk8]# tar -zxvf /downloads/jdk-8u251-linux-x64.tar.gz
7.2配置环境变量
[root@localhost jdk8]# vi /etc/profile
添加如下信息：
#java
export JAVA_HOME=/usr/local/jdk8/jdk1.8.0_251
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin
7.3 环境变量生效
[root@localhost jdk8]# source /etc/profile
7.4 检查是否安装成功
[root@localhost jdk8]# java -version
以上配置为基本配置,每个节点都需要上述的相同配置,因此配置好主节点后,克隆该虚拟机，避免重复配置
9、 克隆子节点
10、子节点修改hostname
[root@ambari ~]# hostnamectl set-hostname ambari.agent.com
下面的配置只针对主节点ambari.server.com
11、设置ssh免密登录
11.1 测试各个节点互通
server主机：ping ambari.agent.com或 ping 192.168.66.136（agent主机ip）
agent主机：ping ambari.server.com或 ping 192.168.66.165（server主机ip）
11.2 生成密钥文件
[root@ambari ~]# ssh-keygen -t rsa
11.2 到生成的目录查看
[root@ambari ~]# cd .ssh
[root@ambari .ssh]# ls
id_rsa为私钥文件，id_rsa.pub为公钥文件
11.3 将公钥文件复制到子节点
[root@ambari .ssh]# ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected]
期间输入yes和子节点主机密码
11.4 测试免密登录
[root@ambari .ssh]# ssh 192.168.66.136
[root@ambari ~]# exit（退出子节点登录）
离线安装ambari
主节点准备工作完成后，开始离线安装ambari（在线安装太慢）
1、 部署本地库
1.1 下载 Ambari与HDP 官网:Hortonworks
http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.5.0.3/ambari-2.5.0.3-centos7.tar.gz
http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.0.3/HDP-2.6.0.3-centos7-rpm.tar.gz
http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos7/HDP-UTILS-1.1.0.21-centos7.tar.gz
1.2 利用Xftp 6将下载的文件复制到/downloads目录下
1.3 安装本地源工具
[root@ambari .ssh]# yum install yum-utils createrepo yum-plugin-priorities -y
[root@ambari .ssh]# vi /etc/yum/pluginconf.d/priorities.conf
文件中添加gpgcheck = 0
1.4 配置http服务
[root@ambari .ssh]# yum install httpd
[root@ambari .ssh]# systemctl enable httpd
[root@ambari .ssh]# systemctl start httpd
1.5 创建本地源（将下载的3个tar包解压到/var/www/html 相应目录下）
[root@ambari .ssh]# cd /var/www/html/
[root@ambari html]# mkdir ambari
[root@ambari html]# mkdir hdp
[root@ambari html]# cd /downloads/
[root@ambari downloads]# ls
[root@ambari downloads]# tar -zxvf ambari-2.5.0.3-centos7.tar.gz -C /var/www/html/ambari
[root@ambari downloads]# tar -zxvf HDP-2.6.0.3-centos7-rpm.tar.gz -C /var/www/html/hdp
[root@ambari downloads]# tar -zxvf HDP-UTILS-1.1.0.21-centos7.tar.gz -C /var/www/html/hdp
1.6 createrepo
[root@ambari downloads]# cd /var/www/html/ambari/
[root@ambari ambari]# createrepo ./
1.7 下载ambari.repo、HDP.repo，配置为本地源
[root@ambari ambari]# cd /etc/yum.repos.d/
[root@ambari yum.repos.d]# ls
[root@ambari yum.repos.d]# wget -nv http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.5.0.3/ambari.repo
[root@ambari yum.repos.d]# vi ambari.repo
配置如下 ：
#VERSION_NUMBER=2.5.0.3-7
[ambari-2.5.0.3]
name=ambari Version - ambari-2.5.0.3
baseurl=http://ambari.server.com/ambari/ambari/centos7/
gpgcheck=1
gpgkey=http://ambari.server.com/ambari/ambari/centos7/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
[root@ambari yum.repos.d]# wget -nv http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.0.3/hdp.repo
[root@ambari yum.repos.d]# vi hdp.repo
配置如下 ：
#VERSION_NUMBER=2.6.0.3-8
[HDP-2.6.0.3]
name=HDP Version - HDP-2.6.0.3
baseurl=http://ambari.server.com/hdp/HDP/centos7/
gpgcheck=1
gpgkey=http://ambari.server.com/hdp/HDP/centos7/HDP/centos7/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
[HDP-UTILS-1.1.0.21]
name=HDP-UTILS Version - HDP-UTILS-1.1.0.21
baseurl=http://ambari.server.com/hdp/
gpgcheck=1
gpgkey=http://ambari.server.com/hdp/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
1.8 执行yum命令
[root@ambari yum.repos.d]# yum clean all
[root@ambari yum.repos.d]# yum makecache
1.9 访问本地源，检查是否安装成功
192.168.66.135/hdp（主节点ip）
192.168.66.135/ambari（主节点ip）
2、 现在可以开始安装ambari了
2.1 检查仓库是否可用
[root@ambari hdp]# yum repolist
2.2 安装
[root@ambari yum.repos.d]# yum install ambari-server
2.3 配置ambari-server（主要配置用户、jdk和数据库，ambari默认使用PostgreSQL，可配置为mysql，此处略过）
[root@ambari yum.repos.d]# ambari-server setup
2.4 启动Ambari-server（出现如图错误原因可不用理会）
[root@ambari yum.repos.d]# service ambari-server start
2.5 配置本机host（用于访问虚拟机）
C:\Windows\System32\drivers\etc目录下配置hosts文件
192.168.66.135 ambari.server.com
192.168.66.136 ambari.agent.com
安装hdp集群
现在可以安装hdp集群了
1、 登录http://ambari.server.com:8080/（admin/admin）
2、 创建集群
3、 集群名称
4、 版本选择 (和下载版本一致)
5、 选择本地库、配置本地源地址
6、 配置子节点，上传master私钥
[root@ambari hdp]# cd ~/.ssh/
[root@ambari .ssh]# vi id_rsa
8、正在安装
9、失败处理情况的处理。点击failed 查看日志错误信息
10、根据日志错误信息处理
我遇到的错误：
ERROR 2020-05-18 22:16:11,389 NetUtil.py:93 - [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:618)
ERROR 2020-05-18 22:16:11,390 NetUtil.py:94 - SSLError: Failed to connect. Please check openssl library versions.
解决方案：https://blog.csdn.net/devalone/article/details/81356617
登录ambari.agent.com子节点
[root@ambari ~]# vi /etc/python/cert-verification.cfg
verify项改为verify=disable
[root@ambari ~]# vi /etc/ambari-agent/conf/ambari-agent.ini
[root@ambari ~]# ambari-agent restart
11、点击 retry failed 重新安装注册成功
12、安装服务（hdfs+hbase+zookeeper+ambari metrics）
13、选择每个host节点需要安装的组件
14、配置每个节点是否需要安装client、nodemanager等
15、依次选择具有红色提示的列（主要是设置密码）
16、设置完毕后 ，点击下一步
17、等待安装（过程比较漫长）
18、点击 installing …可查看服务安装信息
19、安装成功，点击完成
20、安装成功后，所有服务会自动启动。如下图节点的服务信息
21、刚开始启动可能有报错信息，等待几分钟后还报错，根据报错信息处理