CDH快速入门系列(2) | CM集群安装

  大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客主页：https://buwenbuhuo.blog.csdn.net/

  此篇为大家带来的是CM集群安装。

---

一. 提前准备

1.1 下载第三方依赖

//在三台节点（所有agent的节点）上执行下载第三方依赖

[bigdata@hadoop005 software]$ sudo yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb httpd mod_ssl

1.2 创建CM用的数据库

• （0）启动mysql

[bigdata@hadoop005 software]$ mysql -uroot -p199712

• （1）集群监控数据库

create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

• （2）hive数据库

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

• （3）oozie数据库

create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

• （4）hue数据库

create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

二. CM安装部署

CM下载地址：http://archive.cloudera.com/cm5/cm/5/
离线库下载地址：http://archive.cloudera.com/cdh5/parcels

注：以下所有操作均使用root用户

2.1 解压cloudera-manager-el6-cm5.12.1_x86_64.tar.gz

• 1. 解压到/opt目录下

[root@hadoop005 software]# tar -zxvf cloudera-manager-el6-cm5.12.1_x86_64.tar.gz -C /opt/

• 2.把cdh等三个文件copy到/opt/cloudera/parcel-repo/

[root@hadoop005 software]# mv CDH* /opt/cloudera/parcel-repo/
[root@hadoop005 software]# mv manifest.json /opt/cloudera/parcel-repo/
[root@hadoop005 parcel-repo]# mv CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1 CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha

2.2 创建用户cloudera-scm（所有节点）

[root@hadoop005 cloudera-scm-server]# useradd --system --home=/opt/cm-5.12.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

–system 创建一个系统账户
–home 指定用户登入时的主目录，替换系统默认值/home/<用户名>
–no-create-home 不要创建用户的主目录
–shell 用户的登录 shell 名
–comment 用户的描述信息

注意：
Cloudera Manager默认用户为cloudera-scm，创建具有此名称的用户是最简单的方法。 安装完成后，将自动使用此用户。

[root@hadoop005 opt]# chown -R cloudera-scm:cloudera-scm c*

2.3 配置CM Agent

// 修改文件/opt/cm-5.12.1/etc/cloudera-scm-agent/ config.ini
[root@hadoop005 opt]# vim cm-5.12.1/etc/cloudera-scm-agent/config.ini
server_host=hadoop005

2.4 配置CM的数据库

• 1. 拷贝mysql jar文件到目录 /usr/share/java/

[root@hadoop005 opt]# mkdir /usr/share/java/
[root@hadoop005 software]# mv mysql-connector-java-5.1.27-bin.jar /usr/share/java/mysql-connector-java.jar

• 2. 在mysql中创建cm库

[root@hadoop005 cm-5.12.1]# /opt/cm-5.12.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hhadoop005 -uroot -p199712 --scm-host hadoop005 scm scm scm

-h：Database host
-u：Database username
-p：Database Password
–scm-host：SCM server’s hostname

2.5 分发cloudera-manager

[root@hadoop005 opt]# scp -r /opt/c* hadoop006:/opt/
[root@hadoop005 opt]# scp -r /opt/c* hadoop007:/opt/

2.6 启动和关闭CM Server&Agent 服务

• 1. 服务节点：hadoop005

[root@hadoop005 opt]# ./cm-5.12.1/etc/init.d/cloudera-scm-server start

• 2. 工作节点：hadoop005\hadoop006\hadoop007

[root@hadoop005 opt]# ./cm-5.12.1/etc/init.d/cloudera-scm-agent start
[root@hadoop006 opt]# ./cm-5.12.1/etc/init.d/cloudera-scm-agent start
[root@hadoop007 opt]# ./cm-5.12.1/etc/init.d/cloudera-scm-agent start

注意：启动过程非常慢，Manager 启动成功需要等待一段时间，过程中会在数据库中创建对应的表需要耗费一些时间。

[root@hadoop005 opt]# netstat -anp | grep 7180
tcp        0      0 0.0.0.0:7180                0.0.0.0:*                   LISTEN      3606/java     

查看被占用则表示安装成功了！！！

• 3. 关闭

// 1.服务节点：hadoop005
[root@hadoop005 init.d]# /opt/cm-5.12.1/etc/init.d/cloudera-scm-server stop
停止 cloudera-scm-server：                                 [确定]

// 2. 工作节点：hadoop005\hadoop006\hadoop007
[root@hadoop005 init.d]# /opt/cm-5.12.1/etc/init.d/cloudera-scm-agent stop
Stopping cloudera-scm-agent:                               [确定]

2.7 web端查看

http://hadoop005:7180
（用户名、密码：admin）

• 1. 登录界面
  
• 2. 同意用户条款
  
• 3. 选择版本
  
• 4. 为CDH集群安装指定主机
  
• 5.群集安装(选择离线下载好的版本)
  
• 6.等待分发
  
• 7.分发完成
  
• 8. 集群设置
  
• 9.自定义角色分配
  
  
• 10 数据库设置
  
  当测试成功后
  
• 11. 默认下一步，然后等待部署完成即可
  
• 12. 部署完成

• 13. 主页
  

  本次的分享就到这里了,

---

  好书不厌读百回，熟读课思子自知。而我想要成为全场最靓的仔，就必须坚持通过学习来获取更多知识，用知识改变命运，用博客见证成长，用行动证明我在努力。
  如果我的博客对你有帮助、如果你喜欢我的博客内容，请“点赞” “评论”“收藏”一键三连哦！听说点赞的人运气不会太差，每一天都会元气满满呦！如果实在要白嫖的话，那祝你开心每一天，欢迎常来我博客看看。
  码字不易，大家的支持就是我坚持下去的动力。点赞后不要忘了关注我哦！