离线安装Cloudera Manager 5和CDH5(最新版5.12.0) 完全教程

关于CDH和Cloudera Manager

CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境。

Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件,对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大简化。

系统环境

  • 实验环境:Windows7下VMware虚拟机
  • 操作系统:CentOS 7 x64 
  • Cloudera Manager:5.12.0
  • CDH: 5.12.0

安装说明

官方参考文档:
http://www.cloudera.com/content/cloudera/en/documentation/cloudera-manager/v5-latest/Cloudera-Manager-Installation-Guide/cm5ig_install_path_C.html

官方共给出了3中安装方式:第一种方法必须要求所有机器都能连网,由于最近各种国外的网站被墙的厉害,我尝试了几次各种超时错误,巨耽误时间不说,一旦失败,重装非常痛苦。第二种方法下载很多包。第三种方法对系统侵入性最小,最大优点可实现全离线安装,而且重装什么的都非常方便。后期的集群统一包升级也非常好。这也是我之所以选择离线安装的原因。

相关包的下载地址

Cloudera Manager下载地址:
http://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.12.0_x86_64.tar.gz

CDH安装包地址:http://archive.cloudera.com/cdh5/parcels/5.12/,由于我们的操作系统为CentOS7,需要下载以下文件:

  • CDH-5.12.0-1.cdh5.12.0.p0.29-el7.parcel
  • CDH-5.12.0-1.cdh5.12.0.p0.29-el7.parcel.sha1
  • manifest.json

准备工作:系统环境搭建

以下操作均用root用户操作。

1. 网络配置(所有节点)

修改hostname:

2.打通SSH,设置ssh无密码登陆(所有节点)

3.安装Oracle的Java(所有节点)

4.安装配置MySql(主节点)

5.关闭防火墙

6.所有节点配置NTP服务

正式开工

安装Cloudera Manager Server 和Agent

主节点解压安装

cloudera manager的目录默认位置在/opt下,解压:tar -zxvf cloudera-manager-centos7-cm5.12.0_x86_64.tar.gz 解压后的cm-5.12.0和cloudera目录放到/opt目录下。

为Cloudera Manager 5建立数据库

首先需要去MySql的官网下载JDBC驱动,找到mysql-connector-java-5.1.10.jar,放到/opt/cm-5.1.3/share/cmf/lib/中。

在主节点初始化CM5的数据库:

/opt/cm-5.12.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -pxxxx --scm-host localhost scm scm scm

格式是:scm_prepare_database.sh 数据库类型  数据库 服务器 用户名 密码  –scm-host  Cloudera_Manager_Server所在的机器,后面那三个不知道代表什么,直接照抄官网的了。 因为我们用的是Mysql数据库,所以我们需要下载Mysql的JDBC驱动

Agent配置

修改/opt/cm-5.12.0/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名。

同步Agent到其他节点

scp -r /opt/cm-5.12.0 root@n2:/opt/

在所有节点创建cloudera-scm用户

useradd --system --home=/opt/cm-5.12.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

准备Parcels,用以安装CDH5

将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中。

相关的文件如下:

CDH-5.12.0-1.cdh5.12.0.p0.29-el7.parcel
CDH-5.12.0-1.cdh5.12.0.p0.29-el7.parcel.sha1
manifest.json


最后将CDH-5.12.0-1.cdh5.12.0.p0.29-el7.parcel.sha1,重命名为CDH-5.12.0-1.cdh5.12.0.p0.29-el7.parcel.sha,这点必须注意。

相关启动脚本

通过/opt/cm-5.12.0/etc/init.d/cloudera-scm-server start启动服务端。

通过/opt/cm-5.12.0/etc/init.d/cloudera-scm-agent start启动Agent服务。

我们启动的其实是个service脚本,需要停止服务将以上的start参数改为stop就可以了,重启是restart。

CDH5的安装配置

Cloudera Manager Server和Agent都启动以后,就可以进行CDH5的安装配置了。

这时可以通过浏览器访问主节点的7180端口测试一下了(由于CM Server的启动需要花点时间,这里可能要等待一会才能访问),默认的用户名和密码均为admin:

离线安装Cloudera Manager 5和CDH5(最新版5.12.0) 完全教程_第1张图片

你可能感兴趣的:(linux)