Cloudera Manager5之安装部署CDH5.X

本文章介绍Cloudera Manager的安装以及部署CDH5.X。主要分如下章节介绍。

1，安装准备
2，安装Clouder Manager
3，部署CDH5.X

1，安装准备
1.1 安装物理部署图

物理机硬件信息
2台HP ProLiant DL388 Gen9服务器。每台服务器的配置信息如下：
- 服务器型号：HP ProLiant DL388 Gen9
- CPU：2个Xeon E5-2600 v3 CPU，每个CPU 8核心
- 内存：DDR4 256GB
- 磁盘：SAS盘，15个，每个900GB，10000转/分钟，其中1个热备，14个可用，并做了RAID5，总容量大约：11700GB
- 网卡：4个千兆网卡
物理机软件信息
- 操作系统： Centos6.6 64位
- 虚拟化软件：Virtualbox 4.3.26

1.2 IP与主机名对应关系表

1.3 CDH组件分配表
CDH安装如下组件：HDFS，HBase，Hive，Hue，Impala，Oozie，Spark，Sqoop2，YARN，Zookeeper，组件对应VM分配情况如下表：

2，安装Clouder Manager
2.1 Cloudera Manager安装前执行
在cdh-node1机器中执行如下命令：
1， 关闭防火墙，service iptables stop
2， 关闭Selinux，setenforce 0或修改/etc/selinux/config：SELINUX=disabled；
3， 最好在/etc/yum.conf增加timeout时间，timeout=120。自己设置长点就行。

2.2 Cloudera Manager下载
安装包下载URL：http://www.cloudera.com/content/support/en/downloads.html
或者执行如下命令下载Cloudera Manager5.3的安装包。

#wget http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin

2.3 运行Cloudera Manager Server安装包

$ chmod u+x cloudera-manager-installer.bin
$./cloudera-manager-installer.bin

2.4 读Cloudera Manager README

2.5 Cloudera Express License


选择“Yes”，然后回车。

2.6 Oracle Binary Code License Agreement


选择“Yes”，然后回车。

2.7 Installing JDK

2.8 Installing Cloudera Manager Server

2.9 安装结束

选择“OK”，然后回车。

选择“OK”，然后回车，成功结束安装。

注：在安装过程中，由于网络问题，报如下错误：
http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5/RPMS/x86_64/cloudera-manager-daemons-5.3.2-1.cm532.p0.209.el6.x86_64.rpm: [Errno 12] Timeout on http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5/RPMS/x86_64/cloudera-manager-daemons-5.3.2-1.cm532.p0.209.el6.x86_64.rpm: (28, ‘Operation too slow. Less than 1 bytes/sec transfered the last 30 seconds’)
尝试其他镜像。
解决方法：重新安装Cloudera Manager。

3，部署CDH5.X
3.1 登陆Cloudera Manager 管理控制台
在浏览器中输入：
http://cdh-node1:7180

输入用户名和密码，用户名和密码默认都是“admin”，然后点击“登录”按钮。

3.2 选择Cloudera Manager版本

选择“Cloudera Enterprise Data Hub Edition Trial”，点击“继续”按钮。

3.3 显示Cloudera Manager和CDH的安装包

点击“继续”按钮。

3.4 为 CDH 群集安装指定主机

输入“10.51.120.5[1-9]”和“10.51.120.6[0-2]”，然后点击“搜索”按钮。

从搜索的结果可以看出：发现12个主机，运行了SSH，当前的受管状态都是“否”。

3.5 集群安装-选择存储库

点击“更多选项”

点击“继续”按钮。

3.6 集群安装- JDK安装选项

点击“继续”按钮。

3.7 集群安装-提供 SSH 登录凭据

点击“继续”按钮。

3.8 集群安装-正在安装

点击“详细信息”

如果出现“安装失败”，则可以点击“重试失败的主机”按钮，重新安装。
安装过程中，可能会有多次安装失败，这时点击“重试失败的主机”按钮，重新安装。

安装完成界面

点击“继续”按钮。

3.9 集群安装-正在安装选定Parcel

此过程需要的时间比较长，我安装时花了10个小时。此步骤，下载parcel，默认下载位置为：/opt/cloudera/parcel-repo/CDH-5.3.2-1.cdh5.3.2.p0.10-el6.parcel
/opt/cloudera/parcel-repo/CDH-5.3.2-1.cdh5.3.2.p0.10-el6.parcel.sha

点击“继续”按钮。

3.10 集群安装-检查主机正确性
检查的明细如下：

CDH各个组件版本信息如下：

3.11 集群设置-选择要在集群安装的CDH5服务

选择“自定义服务”，点击“继续”按钮。

3.12 群集设置-自定义角色分配

3.14 群集设置-数据库设置

点击“继续”按钮。

3.15 群集设置-审核更改
这里修改了数据存放目录。

点击“继续”按钮。

3.16 群集设置-命令进度

点击“继续”按钮。

3.17 群集设置-完成安装

点击“完成”按钮，即可完成安装。