Cloudera Manager集群搭建

Cloudera Manager集群搭建

环境说明：

Linux版本	Centos6.5
CDH版本	CDH5
linux操作用户	root

一、安装包下载

? CM5的tar包下载(一个文件) 下载地址

   cm5.11.1-centos6.tar.gz

?CDH的相关文件下载(一共四个文件）下载地址

   cloudera-manager-el6-cm5.11.1_x86_64.tar.gz
   CDH-5.11.1-1.cdh5.11.1.p0.4-el6.parcel
   CDH-5.11.1-1.cdh5.11.1.p0.4-el6.parcel.sha1
   manifest.json

二、搭建本地yum源

? 在一台虚拟机上启动http服务(service httpd start)；如果没有httpd服务需要先安装服务（yum -y install httpd）
? 将cm5的tar包上传并解压，将rpm包放到到apache的WebUI目录下(/var/www/html/cm-5.11.1/)，放置后可以通过http://ip/cm-5.11.1/ 查看这些rpm包 点击访问文件如果出现Forbidden无法访问，查看一下防火墙和selinux是否关闭。
如何关闭selinux（ 问题参考链接）
? 通过createrepo . 指令生成repodata文件(需要实现安装createrepo命令 yum -y install createrepo),最终在上面的页面会出现一个repodata文件夹。
? 配置yum源文件.repo(进入/etc/yum.repos.d 目录，创建cloudera-manager.repo)

? 在server节点上安装 yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server

三、配置本地Parcel源

? 解压cloudera-manager-el6-cm5.11.1_x86_64.tar.gz 包，将解压后的cloudera 和cm-5.11.1 两个文件夹中的内容复制到/opt目录下.
? 在所有节点上创建名为cloudera-scm的用户
useradd --system --home=/opt/cm-5.11.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment “Cloudera SCM User” cloudera-scm
? 将
CDH-5.11.1-1.cdh5.11.1.p0.4-el6.parcel
CDH-5.11.1-1.cdh5.11.1.p0.4-el6.parcel.sha1
manifest.json
三个文件放入/opt/cloudera/parcel-repo 目录下，此处需要将CDH-5.11.1-1.cdh5.11.1.p0.4-el6.parcel.sha1 重命名为CDH-5.11.1-1.cdh5.11.1.p0.4-el6.parcel.sha（否则parcel源不起作用）

四、安装数据库（略）

五、设置Cloudera Manager的数据库

? 初始化数据库，命令为
/opt/cm-5.11.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hip地址 -u用户名 -p密码 --scm-host serverip scm scm scm
报错：
解决办法：
在数据库中运行下面两条sql
grant all privileges on . to ‘root’@’%’ identified by ‘123456’ with grant option;
flush privileges;
如果运行上述sql语句时还报这个错，参考下面这个连接（问题参考链接）

创建成功(会出现一个新的名为cm的数据库)
? 将mysql的jar包放入 /usr/share/java 目录下，注意，名字必须为mysql-connector-java.jar；
? 修改/etc/cloudera-scm-server/db.properties 中的内容。

六、节点安装

? 启动server服务 （service cloudera-scm-server start），可以在（/var/log/cloudera-scm-server下面查看日志）
? 等待程序启动（日志中出现Started Jetty server证明启动成功）
? 打开web界面，默认端口7180，用户名和密码为admin.

a、选择需要安装的节点

b、选择本地parcel源和yum源

建议选择上面搭建的本地yum源，否则会在线下载，如果网速不好会导致失败

c、完成agent等的安装

d、parcel源安装

报错：
主机运行情况不良
解决办法： 问题参考链接

e、安装完成

参考文章链接：
1、https://blog.csdn.net/chshgod1/article/details/80475596
2、https://www.cnblogs.com/yinzhengjie/p/9735451.html
3、https://www.cnblogs.com/mylovelulu/p/10384732.html