CDH集群的搭建及简单使用

CDH集群的搭建及简单使用 

一、CM集群部署 

1、确认防火墙问题及端口权限并关闭SELinux服务. 

2、搭建yum源 

1. 开启httpd服务：service httpd start 

1. 建立CM RPM包和parcels源的目录： 

mkdir -p /var/www/html/cm5/redhat/6/x86_64 

mkdir -p /var/www/html/cdh5/parcels 

1. 将RPM包和parcels包分别上传到这两个目录 

tar -zxf cm5.8.3-centos6.tar.gz -C /var/www/html/cm5/redhat/6/x86_64 

cp -R cdh-5.8.3/ cdh-kafka/ /var/www/html/cdh5/parcels 

 

1. 修改parcels包的命名： 

mv /var/www/html/cdh5/parcels/cdh-kafka/KAFKA-2.1.0-1.2.1.0.p0.115-el6.parcel.sha1 /var/www/html/cdh5/parcels/cdh-kafka/KAFKA-2.1.0-1.2.1.0.p0.115-el6.parcel.sha 

mv /var/www/html/cdh5/parcels/cdh-5.8.3/CDH-5.8.3-1.cdh5.8.3.p0.2-el6.parcel.sha1 /var/www/html/cdh5/parcels/cdh-5.8.3/CDH-5.8.3-1.cdh5.8.3.p0.2-el6.parcel.sha 

 

1. 配置使用本土YUM源 

vi /etc/yum.repos.d/cloudera-manager.repo  

添加内容： 

[cloudera-manager] 

name = cloudera-manager 

baseurl = http://172.21.107.36/cm5/redhat/6/x86_64/cm/5/ 

enabled = 1 

gpgcheck = 0 

 

1. 刷新yum源 

yum clean all 

3、安装cloudera-manager 

给cloudera-manager-installer.bin附执行权限 

chmod u+x cloudera-manager-installer.bin 

执行cloudera-manager-installer.bin进行安装 

./cloudera-manager-installer.bin --skip_repo_package=1 

按步骤执行安装 

PS:问题看日志,日志目录:/var/log/cloudera-manager-installer 

 

 

 

 

当出现上图则表示cm启动成功，然后在浏览器打开7180端口进行操作 

输入要安装的机器名或IP 

点击更多，将我们自己下载的parcel源添加上去 

修改自定义库为我们自己创建的 

 

添加统一用户 

等待其他机器安装cloudera-manager-agent 

检查机器情况，若有相应的告警则进行处理： 

 

4、Cloudera Management Service 服务 

安装4个监控组件 

 

 

选用自定义数据库 

若mysql数据库将驱动jar包放到/usr/share/cmf/lib/目录中： 

cp mysql-connector-java-5.1.27-bin.jar /usr/share/cmf/lib/ 

 

可以设置告警邮件和存储目录等信息 

 

等待安装完成 

 

 

 

二、服务安装 

 

选择需要安装的服务： 

 

例如添加hdfs服务： 

1. 需要分配角色在各个机器; 

 

1. 设置目录存储位置 

 

1. 等待部署完成，出错可看日志进行排查 

 

 

 

三、简单使用 

1、集群 

 

1. 主页： 

 

  状 态：当前状态 

  所有运行状况问题：运行中出现的问题 

  配置 ：对整体服务进行配置 

  所有最新命令：查看最近运行的命令 

 

 

1. 集群服务 

点击集群服务可以更具体的查看服务的情况 

状态：当前服务的所有监控 

 

实例：在实例上可以添加、删除、修改角色 

 

配置：可以对该服务的配置进行统一的修改 

 

命令：显示最近使用或现在正在使用的命令 

图表库：上面有一些监控的图表，根据需要可以添加到监控页去 

 

快速连接：可以快速跳到告警的日志 

 

 

2、主机 

主机页面可以对CM管理的机器进行添加、检查、升级等操作 

 

 

3、诊断 

诊断可以查看所有事件和日志 

 

4、审核 

查看最近用户的操作 

 

 

 

5、图表 

可以根据需求对一些我们要监控的指标转为图表 

 

 

6、管理 

对CM服务进行管理 

 

 

附录： 

1、cloudera-manager启动命令 

service cloudera-scm-server start/stop/status/restart 

service cloudera-scm-agent start/stop/status/restart 

 

2、目录 

• /var/log/cloudera-scm-installer : 安装日志目录。 

• /var/log/* : 相关日志文件（相关服务的及CM的）。 

• /usr/share/cmf/ : 程序安装目录。 

• /etc/cloudera-scm-agent/ : agent的配置目录。 

• /etc/cloudera-scm-server/ : server的配置目录。 

• /opt/cloudera/parcels/ : Hadoop相关服务安装目录。 

• /opt/cloudera/parcel-repo/ : 下载的服务软件包数据，数据格式为parcels。 

• /opt/cloudera/parcel-cache/ : 下载的服务软件包缓存数据。 

• /etc/hadoop/* : 客户端配置文件目录。 

 

3、web服务端口记录 

服务	端口
hdfs web ui	50070
yarn web ui	8088
yarn historyserver web ui	19888
hmaster web ui	16010
HRegionServer web ui	16030
Hue web ui	8888
Oozie web ui	11000
spark web ui	4040
CM web ui	7180
Spark History Server web ui	18080