Centos7 安装 ambari 2.6.2.2 和HDP 2.6.5 的艰苦历程

Centos7 安装 ambari 2.6.2.2 和HDP 2.6.5 的艰苦历程

安装前的准备

1. VM虚拟机三台（切记别吝啬，硬盘大点，不然安装的时候突然机器写满，centos连机都开不开）
2. HDP地址: http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.5.0/HDP-2.6.5.0-centos7-rpm.tar.gz
   HDP-UTILS地址：http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.22/repos/centos7/HDP-UTILS-1.1.0.22-centos7.tar.gz
   HDP-GPL地址：http://public-repo-1.hortonworks.com/HDP-GPL/centos7/2.x/updates/2.6.5.0/HDP-GPL-2.6.5.0-centos7-gpl.tar.gz
3. 肝一个（没有事情是一个肝解决不了的，如果有那就两个）。

ambari 安装前的Centos准备

1. 设置你的hostname，hostnamectl set-hostname xxx 如果你想好过一点的，就乖乖的设置。没安装过原生hadoop集群的人是不知道这个hostname多么重要呀（如果不改hostname，能让你发狂，各种访问不通的问题）
2. hadoop权限用户的免密登录（最好不要使用root，如果有漏洞被人利用了就完犊子了），因为ambari-server需要免密登录执行脚本。顺带着把即将要安装ambari-server的服务器的hadoop 的id_rsa拷贝出来，一会需要用到。
3. /etc/hosts 添加刚刚设置的集群host和ip的映射。
4. systemctl disable firewalld 永久关闭防火墙 / systemctl stop firewalld 临时关闭防火墙
   5。关闭selinux cat /etc/selinux/config，修改行SELINUX=disabled。操作到此处最好重启一下。

ambari 安装前的必备软件准备

1. JAVA环境（每台机器）：安装JDK8（配置JAVA_HOME，不用我说了吧），注意一点就好：记得卸载自带的jdk
2. 时钟同步（每台机器）：yum -y install ntp。ntpdate pool.ntp.org 同步时间，可以设置crontab来定时启动时钟同步。或者启动systemctl start ntpd。
3. httpd（主机器）：因为国外镜像，所以下载大文件偶尔会出问题，推荐自建镜像源。 yum -y install httpd，systemctl start httpd。

• cd /var/www/html/ 在下面创建一个目录（文件夹名：HDP），目录中存放之前下载的压缩包，并且乣解压出来。
• 通过 http://ip/HDP/访问页面。

5. createrepo（主机器） ：yum install yum-utils createrepo yum-plugin-priorities -y

• createrepo HDP/
• 修改 ambari 的资源配置文件HDP/ambari/...../ambari.repo。中间路径省略了，就一个文件夹==。baseurl修改为http://ip/HDP/ambari/ambari/centos7/2.6.0.0-267/，gpgkey修改为http://ip/HDP/ambari/ambari/centos7/2.6.0.0-267/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins。中间的路径可以依照包解压的样子自己修改。
• 同理修改HDP的资源配置文件，这个里面包含了HDP和HDP_UTILS的配置修改。
• 如果用的HDP-GPL，还需要修改HDP-GPL的资源配置文件。
• 将刚刚修改的几个资源配置文件复制到每台机器的/etc/yum.repos.d/
• yum clean all && yum makecache && yum repolist，看看是不是有ambari的资源了。

ambari-server的安装

1. 主服务器：root权限 yum -y install ambari-server
2. 主服务器：root权限 ambari-server setup
3. ambari-server 配置

• 第一个是修改运行用户；过段选择y，然后输入hadoop
• 第二个是配置JAVA_HOME。
• 第三个是配置数据库（怕麻烦的话，选择n，默认使用PostgreSQL，啥也不用管）
• 第三个如果使用自己的数据库，请先在目标数据库运行sql文件（/var/lib/ambari-server/resources/目录下的对应sql文件。 mysql8的注意，里面有些sql错误，官方的这些人表名用关键字也是牛逼呀，还不加``，自己改吧）
  4.主服务器：root权限 ambari-server start。

HDP安装

我就不赘述了，怎么配置集群很简单的，我说一下容易出错的点吧。

1. 第二步 Select Version，填写的就是httpd服务的URL地址，其实和repo文件里面的一致
2. 第三步 Install Options，填写的就是之前拷出来的id_rsa文件，用户写hadoop，你的私钥都是hadoop用户的。这个地方的用户是设置的集群以什么用户启动，安装。权限不足的可以给个visodu
3. 第四步 Config Host，这个地方是错误百出呀，各种奇葩的错误，无非就是需要升级openssl或者在/etc/ambari-agent/conf/ambari-agent.ini文件的[security]下增加force_https_protocol=PROTOCOL_TLSv1_2，真心重点。最好每台服务器都设置这个。success以后最好处理一下check出来的问题，不然后面出现的错误，你都不知哪里来的，还是乖乖听官方大哥的，别忽略，有个提示存在hadoop用户的，那个不用处理，毕竟咱们的ambari就是需要hadoop。
4. 后面就是点点点式操作，几乎不用动，配置在集群建好之后还可以修改。

总结（其实就是吐槽）

1. 其实吧，ambari还蛮好用的，个人比较喜欢，因为刚开始的时候是接触的原生的hadoop组件，ambari就是在原生的hadoop组件上做了集成，你能够看到hadoop 的版本，而CDH就不一样了，感觉整体都换了，所有的版本都是依赖于CDH的版本。并且ambari是完全开源，免费的，公司首选呀。
2. 个人推荐学习的话，还是从原生hadoop组件开始，等hadoop的生态圈熟悉的差不多了，就可以开始使用集成工具来搭建维护集群。
3. 在集群切换HA的时候，ambari貌似有BUG，web界面上修改第二个namenode的部署节点，但是配置文件里面没有，导致配置文件和ambari存储在数据库中的组件位置信息不一致，导致HA的时候失败，出现HA和secondaryNamenode同时存在，这个时候就是需要展现你对原生hadoop 的理解了，最好是修改配置文件，让配置文件和数据库的信息一致。关于怎么删掉secondaryNamenode我还在想办法。