Ambari快速部署Hadoop大数据环境

Ambari 是什么

Ambari 跟 Hadoop 等开源软件一样，也是 Apache Software Foundation 中的一个项目，并且是顶级项目。就 Ambari 的作用来说，就是创建、管理、监视 Hadoop 的集群，但是这里的 Hadoop 是广义，指的是 Hadoop 整个生态圈（例如 Hive，Hbase，Sqoop，Zookeeper 等），而并不仅是特指 Hadoop。用一句话来说，Ambari 就是为了让 Hadoop 以及相关的大数据软件更容易使用的一个工具。
说到这里，大家就应该明白什么人最需要 Ambari 了。那些苦苦花费好几天去安装、调试 Hadoop 的初学者是最能体会到 Ambari 的方便之处的。而且，Ambari 现在所支持的平台组件也越来越多，例如流行的 Spark，Storm 等计算框架，以及资源调度平台 YARN 等，我们都能轻松地通过 Ambari 来进行部署。
Ambari 自身也是一个分布式架构的软件，主要由两部分组成：Ambari Server 和 Ambari Agent。简单来说，用户通过 Ambari Server 通知 Ambari Agent 安装对应的软件；Agent 会定时地发送各个机器每个软件模块的状态给 Ambari Server，最终这些状态信息会呈现在 Ambari 的 GUI，方便用户了解到集群的各种状态，并进行相应的维护。

Ambari 的安装

Ambari安装准备

关于 Ambari 的安装，目前网上能找到两个发行版，一个是 Apache 的 Ambari，另一个是 Hortonworks 的，两者区别不大。这里就以 Apache 的 Ambari 2.1.2 作为示例。本文使用四台 centos 6.8 作为安装环境，三台机器分别为Ambari.domain、NameNode.domain、Hadoop01.domain、Hadoop02.domain。Ambari计划安装为 Ambari 的 Server，NameNode为管理节点，另外两台为 Ambari Agent。
安装 Ambari 最方便的方式就是使用公共的库源（public repository）。[搭建本地库（local repository）见Ambari-server私有yum源搭建及设置]。这个不是本文重点，所以不在此赘述。在进行具体的安装之前，需要做几个准备工作。
SSH 的无密码登录(见配置Ambari-server到agent单向的免密码登陆)；
Ambari 的 Server 会 SSH 到 Agent 的机器，拷贝并执行一些命令。因此我们需要配置 Ambari Server 到 Agent 的 SSH 无密码登录。在这个例子里，Ambari可以 SSH 无密码登录另外三台机器。
确保 Yum 可以正常工作；
通过公共库（public repository），安装 Hadoop 这些软件，背后其实就是应用 Yum 在安装公共库里面的 rpm 包。所以这里需要您的机器都能访问 Internet。
确保 home 目录的写权限，Ambari 会创建一些 OS 用户。
确保机器的 Python 版本大于或等于 2.6（系统默认就是 2.6 的）。
以上的准备工作完成后，便可以真正的开始安装 Ambari 了。

Ambari安装过程

首先需要获取 Ambari 的公共库文件（public repository）。登录到 Linux 主机并执行下面的命令（也可以自己手工下载）：
wget http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.1.2/ambari.repo
将下载的 ambari.repo 文件拷贝到 Linux 的系统目录/etc/yum.repos.d/。拷贝完后，我们需要获取该公共库的所有的源文件列表。依次执行以下命令。
#yum clean all
#yum list|grep ambari

如果可以看到 Ambari 的对应版本的安装包列表，说明公共库已配置成功。然后就可以安装 Ambari 的 package 了。执行下面的命令安装 Ambari Server 到该机器。
#yum install ambari-server
待安装完成后，便需要对 Ambari Server 做一个简单的配置。执行下面的命令。
#amari-server setup
在这个交互式的设置中，采用默认配置即可。Ambari 会使用 Postgres 数据库，默认会安装并使用 Oracle 的 JDK。默认设置了 Ambari GUI 的登录用户为 admin/admin。并且指定 Ambari Server 的运行用户为 root。
简单的 setup 配置完成后。就可以启动 Ambari 了。运行下面的命令。
#ambari-server start
当成功启动 Ambari Server 之后，便可以从浏览器登录，默认的端口为 8080。以本文环境为例，在浏览器的地址栏输入 http://ambari.domain:8080，登录密码为 admin/admin。登入 Ambari 之后的页面如下图。

至此，Ambari Server 就安装完成了。

部署一个 Hadoop2.x 集群

到这一节，我们将可以真正地体验到 Ambari 的用武之地，以及它所能带来的方便之处。
登录 Ambari 之后，点击按钮“Launch Install Wizard”，就可以开始创建属于自己的大数据平台。
首先命名集群的名字。本环境为 BigData。
接下来，选择一个 Stack，这个 Stack 相当于一个 Hadoop 生态圈软件的集合。Stack 的版本越高，里面的软件版本也就越高。这里我们选择 HDP2.3，里面的对应的 Hadoop 版本为 2.7.x。
接下来，指定 Agent 机器（如果配置了域，必须包含完整域名），这些机器会被安装 Hadoop 等软件包。咱们这里选择“Perform manual registration on hosts and do not use SSH“。 三台机器都要手动安装 Ambari Agent。具体参见下图示例。

[root@namenode ~]# yum install -y ambari-agent
[root@namenode ~]# vi /etc/ambari-agent/conf/ambari-agent.ini
修改其中的hostname为Ambari即可
[root@namenode ~]# /etc/init.d/ambari-agent start
[root@NameNode ~]# /etc/init.d/ambari-agent status

Hadoop01、Hadoop02安装方式同上。
客户端手动注册
点击”Register and Confirm”后系统自动开始注册主机和配置主机

Hadoop集群组件选择与安装

一般根据业务选择安装的服务

master服务节点选择

选择各组件master服务安装在哪些节点(注意：服务分为master/salves,多个master不推荐安装在同一个主机上面)

slaves服务节点选择

选择slaves服务的安装节点，节点客户端安装
推荐DataNode、RegionServe、client组件都安装

自定义服务配置

(1)、hdfs目录配置：
注意检查目录空间大小，尽量放置在大的目录下
(2)、hive服务配置与检测

配置结束后Ambari 会总结一个安装列表，供用户审阅。这里没问题，就直接下一步。
Ambari 会开始安装选择的 Service 到 Ambari Agent 的机器（如下图）。这里可能需要等好一会。安装完成之后，Ambari 就会启动这些 Service。

安装完成

安装完成之后，就可以查看 Ambari 的 Dashboard 了。

至此，您专属的 bigdata 集群已经安装完成。