使用ambari搭建管理监控集群遇到的问题和搭建准备工作

已亲测，强烈推荐Ambari具体搭建过程链接

端口描述

Ambari
8080 ambari WEB UI端口
8440/8441 ambari-agent端口
Hadoop
50070 HDFS WEB UI端口
8020 高可用的HDFS RPC端口
9000 非高可用的HDFS RPC端口
8088 Yarn 的WEB UI 接口
8485 JournalNode 的RPC端口
8019 ZKFC端口
19888 jobhistory WEB UI端口
Zookeeper
2181 客户端连接zookeeper的端口
Hbase
16010 hbase master UI端口
16020 Hbase的regionServer的WEB UI 管理端口
Hive
9083 metastore服务默认监听端口
3000 HIve DashBoard(grafana) UI端口
Spark
18081 Spark History Server的WEB UI 端口
Kafka
9092 Kafka集群节点之间通信的RPC端口

预准备

（包括虚拟机克隆三台切记系统语言使用英文、ping网络、创建用户加权限、ssh免密登录、关防火墙）
参考：cnblogs.com/zlslch/p/6629235.html
cnblogs.com/langfanyun/p/10366594.html
同步系统时间 sudo ntpdate time1.aliyun.com 或 sudo ntpdate ntp1.aliyun.com
我将/home目录权限 chmod 755 /home（为后期ambari搭建集群做准备） 如果后期Hadoop生态圈组件如kafka flume 等安装在其他目录 则chmod 755 /目录
这里若不确定也可等搭建集群时 报文件夹权限问题了 再行添加权限

Ambari+HDP整体介绍

Ambari 是 hortonworks推出的管理监控Hadoop集群的Web工具，此处的Hadoop集群不单单指Hadoop集群，而是泛指hadoop 整个生态，包括Hdfs，yarn,Spark,Hive,Hbase,Zookeeper，druid等等，管理指的是可以通过Ambari对整个集群进行动态管理，包括集群的部署，修改，删除，扩展等，监控指Ambari实时监控集群的运行状况，包括运行内存，剩余内存，CPU使用率，节点故障等。所以通过Ambari可以简化对集群的管理和监控，让开发者更多的聚焦与业务逻辑。

Ambari + HDP介绍：
    Ambari：WEB应用程序，后台为Ambari Server，负责与HDP部署的集群工作节点进行通讯，集群控制节点包括Hdfs，Spark，Zk，Hive，Hbase等等。
    HDP：HDP包中包含了很多常用的工具，比如Hadoop，Hive，Hbase，Spark等
    HDP-Util：包含了公共包，比如ZK等一些公共组件。

老的集群部署方式

    1. 集群配置(免密登陆，静态IP，防火墙)
    2. JDK，MySql 部署 (Hive相关表结构管理，如果没有用到Hive，无需安装)
    3. Hadoop Hdfs 部署(修改配置) (分布式文件存储)
    4. Hadoop Yarn 部署(修改配置) (MapReduce 任务调度)
    5. (可选) Zookeeper部署，需要修改NameNode 和 ResourceManager 的配置文件
    6. Hive 部署 (数据仓库，对Hdfs上保存的数据进行映射管理)
    7. HBase 部署 (NoSQL数据库，进行数据存储)
    8. (可选) Flume，Sqoop 部署(主要用于数据采集，数据迁移)
    9. Spark 部署 (计算框架部署)
    10. 后面还需要部署 监控框架等等，
    
    部署准备：MySql,JDK,Hadoop,Hive,HBase,Zookeeper,Spark,Flume,Sqoop等
    部署缺点：以上全部部署都是通过命令行来部署，麻烦复杂，容易出错，动态扩展较难，无集群监控    部署优点：整体可控，对集群内部运行逻辑比较清楚，只部署需要的服务，所以对集群要求(内存，CPU及硬盘) 可以不是很高

Ambari 集群部署方式：

    1. 集群配置(免密登陆，静态IP，防火墙)
    2. JDK，MySql 部署 (需要配置Ambari，Hive，Hbase等多张表)
    3. 部署Ambari 服务
    4. 通过Ambari Web工具 部署Hdfs，Spark，Hive，Zk，Hbase，Flume等，想怎么部署就怎么部署，鼠标选择服务和需要部署的节点即可
    5. 通过Ambari Web工具进行集群监控，并且对警告及错误进行处理
    
    部署准备：MySql,JDK,Ambari,HDP,HDP-Util，和上面老的部署方式相比，是不是少了很多    部署注意事项：通过Ambari部署集群对集群节点机器要求比较高，因为有好多关于AmbariServer服务会部署在同一个管理节点上，同时其他集群节点也会同时部署很多其他服务，这对节点的配置(CPU，内存，硬盘)要求比较高，可能运行不起来。
    部署优点：部署简单，一键部署，方便监控，方便扩展，多集群同时管理

Ambari 部署步骤：

    1. 单节点:Ntp,java,selinux,hosts,hostname,ip
    2. 克隆节点，修改ip及hostname
    3. 安装mysql，配置免密登陆
    4. 安装httpd，配置本地ambari+HDP 的yum源
    5. Ambari Server安装及初始化
    6. Ambari Server 通过向导安装集群
    7. Ambari 使用介绍
    8. Hdfs HA的高可用
    9. 接下来就可以根据我们的需求使用集群了，这部分后面会有专门章节针对Hadoop MR 和Spark进行详细解读。

原文链接：https://blog.csdn.net/zhanggqianglovec/article/details/103455836

安装ambari和hdp

搭建：https://www.cnblogs.com/zlslch/p/6629241.html
可参考：
https://docs.cloudera.com/HDPDocuments/Ambari-2.2.1.0/bk_Installing_HDP_AMB/content/_determine_stack_compatibility.html

遇到的主要问题：

（日志目录/var/www/log/ambari-server/ambari-server.out）

1.磁盘卷不够 需扩展 （百度）
2.配置mysql为元数据库 （百度）
3.启动ambari8080失败 最大线程数与Linux限制不一致 修改nproc 大小
参考cnblogs.com/taiguyiba/p/7868894.html
修改 /etc/security/limitis.conf 追加

• soft nofile 655350
• hard nofile 655350
• soft nproc 655350
• hard nproc 655350

4.这个破坑（气死我了）：java.long.NoClassDefFoundError：Counld not initialize class javax.crypto.jceSecurity错误 注意不是（ClassNotfoundException）
可参考 blog.csdn.net/qq_31246691/article/details/78901271
切记文件替换地址为JAVA_HOME/jre/lib/sercurity/
5.运行或访问集群的本地库相关出现错误 先检查是否启动了httpd （防火墙在最初已经设置了永久关闭）
sudo service httpd status
sudo service httpd start
设置开机自启动
chkconfig --add httpd
chkconfig --level 2345 httpd on
再看http:192.168.110.221/hdp2.4/centos6是否访问成功
6.ambari确认主机时报错 openssl的版本问题
sudo yum install openssl
7.Ambari 确认主机安装agent失败解决
可参考 https://blog.csdn.net/sh0308/article/details/73250768
或为root用户设置ssh 在安装过程中ssh用户账号选择 默认root
8.Ambari 确认主机时大透明页面Transparent Huge Pages Issues问题
Linux下执行
echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag

9.Ambari 确认主机Service Issues问题

yum install ntpd
sudo service ntpd status
sudo service ntpd start
设置开机自启动
chkconfig --add ntpd
chkconfig --level 2345 ntpd on