搭建Cloudera Manager环境管理大数据集群

       本文主要介绍如何搭建Cloudera Manager环境来管理大数据集群。这里注重的是搭建的过程，所以小编没用公司的服务器，而是在自己电脑上建了三台虚拟机（使用的是CentOS6.5），用作搭建Cloudera Manager环境。废话不多说，直接开始~

一、环境准备（在所有机器上操作）

查看系统空间的使用情况等

配置ip、主机名、主机映射等（重启生效！！）

禁用ipv6（重启生效！！）

# echo "alias net-pf-10 off"  >>  /etc/modprobe.d/dist.conf 
# echo "alias ipv6 off"  >>  /etc/modprobe.d/dist.conf

关闭防火墙并设置为开机不启动以及禁用selinux（重启生效！！）

# service iptables stop && chkconfig iptables off && chkconfig --list | grep iptables

# vi /etc/sysconfig/selinux

ssh免秘钥登录

# ssh-keygen

# ssh-copy-id 主机名01

# ssh-copy-id 主机名02

# ssh-copy-id 主机名03

安装JDK

修改用户可用的最大服务器资源限制（重启生效！！）

# ulimit  -a

#  vi /etc/security/limits.conf

*               soft    nofile          32728
*               hard    nofile          1024567
*               soft    nproc           65535
*               hard    nproc           unlimited
*               soft    memlock         unlimited
*               hard    memlock         unlimited

二、集群时间服务器

选择一台服务器作为集群的时间服务器，这里我选择第一台，即：hadoop.cm01

在hadoop.cm01上修改配置文件

# vi /etc/ntp.conf

server  127.127.1.0     # local clock
fudge   127.127.1.0 stratum 10

在所有机器上执行命令：

# service ntpd start && chkconfig ntpd on && chkconfig --list | grep ntpd

修改hadoop.cm01的系统时间，与网络时间同步：

# ntpdate -u  us.pool.ntp.org

在hadoop.cm01上修改本地硬件时钟时间：

# hwclock --localtime   //查看本地硬件时钟时间 

# hwclock --localtime -w    //将系统时间写入本地硬件时钟时间

在hadoop.cm01上将本地硬件时钟时间与系统时间进行自动同步：

# vi /etc/sysconfig/ntpdate   

SYNC_HWCLOCK=yes

# vi /etc/sysconfig/ntpd 
SYNC_HWCLOCK=yes

除了hadoop.cm01之外的服务器制定一个crontab定时任务，定时向本集群同步时间

重启生效：# service crond restart

三、MySQL的安装部署（在hadoop.cm01上安装即可）

选用MySQL5.6版本的，使用yum源安装默认是5.1的版本，需要修改yum源

1、卸载自带的MySQL

# rpm -qa | grep mysql 
# rpm -e --nodeps mysql-libs-5.1.66-2.el6_3.x86_64

2、安装更新yum源

# rpm -Uvh mysql57-community-release-el6-8.noarch.rpm

mysql57-community-release-el6-8.noarch.rpm下载地址：https://download.csdn.net/download/gdkyxy2013/10282525

更新后，此目录下出现两个MySQL的源文件

3、修改上图中的两个文件：

# vi mysql-community.repo

# vi mysql-community-source.repo

4、更新yum缓存

# yum makecache

5、查看基于当前系统的yum源可以下载安装的MySQL版本

# yum repolist enabled | grep mysql

6、yum安装MySQL5.6版本

# yum -y install mysql-community-server

7、启动MySQL并进行初始化设置

# service mysqld start 
# mysql_secure_installation

四、Cloudera Manager的安装

首先在所有的服务器上安装第三方依赖包

# yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb

然后在所有服务器上创建如下目录：

# mkdir -p /opt/cloudera-manager  //目录路径和名称不能变

解压Cloudera Manager的tar包到/opt/cloudera-manager目录下：

# tar zxf /opt/softwares/cloudera-manager-el6-cm5.3.6_x86_64.tar.gz  -C  /opt/cloudera-manager/

修改agent的配置文件

/opt/cloudera-manager/cm-5.3.6/etc/cloudera-scm-agent  //agent配置文件目录

# vi  config.ini（所有服务器上都改为下图所示）

五、为CM创建一个专用的普通用户 cloudera-scm（所有的服务器上！！）

# useradd --system  表示创建的是系统用户
 --home=/opt/cloudera-manager/cm-5.3.6/run/cloudera-scm-server  指定了用户的主目录
 --no-create-home 表示不再创建用户的主目录
 --shell=/bin/false  不作为登陆用户 
 --comment "Cloudera SCM User" 
 cloudera-scm   用户名

验证： 
# cat /etc/passwd | grep cloudera-scm

六、配置CM访问数据库的权限，添加一个temp用户

1、mysql> grant all privileges on  *.*  to 'temp'@'%' identified by 'temp' with grant option ;

2、mysql> flush privileges ;   需要刷新权限才生效

3、上传mysql-connector-java.jar

# cp /opt/softwares/mysql-connector-java.jar /usr/share/java

4、在hadoop.cm01上执行CM在mysql中的初始化脚本

/opt/cloudera-manager/cm-5.3.6/share/cmf/schema  初始化脚本路径

# ./scm_prepare_database.sh mysql -h hadoop.cm01 -utemp -ptemp --scm-host hadoop.cm01 scm scm scm

七、配置CDH源

1、创建目录

# mkdir -p /opt/cloudera/parcel-repo   //在server节点上  
# mkdir -p /opt/cloudera/parcels   //在所有节点上

2、将parcel文件移动到parcel-repo目录下

# mv /opt/softwares/CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel*  /opt/cloudera/parcel-repo/

3、修改CDH源校验码文件的名称

# mv CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha1 CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha

4、更改目录所有人

# chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/  //在server节点上
# chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcels/  //在所有节点上

八、启动CM进程服务

1、启动server 
# /opt/cloudera-manager/cm-5.3.6/etc/init.d/cloudera-scm-server start  

2、启动agent 
# /opt/cloudera-manager/cm-5.3.6/etc/init.d/cloudera-scm-agent start

在web界面输入：http://192.168.100.28:7180进入CM初始界面。  （192.168.100.28为hadoop.cm01的ip地址）

用户名和密码都是：admin

按照提示修改即可（所有的服务器上都要修改）

如果选择了安装Activity Monitor，则需要给其创建数据库

到此，安装成功！！如果失败，可以重试一下。

成功后的界面如下：

至此，搭建Cloudera Manager环境管理大数据集群就讲完了，是不是感觉也没有那么难~

你们在此过程中还遇到了什么问题，欢迎留言，让我看看你们都遇到了哪些问题。