CDH超详细离线安装

Cloudera Manager

cloudera manager的概念

简单来说,Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具(软件),使得安装集群从几天的时间缩短在几个小时内,运维人员从数十人降低到几人以内,极大的提高集群管理的效率

cloudera manager的功能

  1. 管理:对集群进行管理,如添加、删除节点等操作。
  2. 监控:监控集群的健康情况,对设置的各种指标和系统运行情况进行全面监控。
  3. 诊断:对集群出现的问题进行诊断,对出现的问题给出建议解决方案。
  4. 集成:多组件进行整合。
    CDH超详细离线安装_第1张图片

cloudera manager的架构

CDH超详细离线安装_第2张图片

  1. Server:负责软件安装、配置,启动和停止服务,管理服务运行的群集。
  2. Agent:安装在每台主机上。负责启动和停止的过程,配置,监控主机。
  3. Management Service:由一组执行各种监控,警报和报告功能角色的服务。
  4. Database:存储配置和监视信息。
  5. Cloudera Repository:软件由Cloudera 管理分布存储库。(有点类似Maven的中心仓库)
  6. Clients:是用于与服务器进行交互的接口(API和Admin Console)

环境要求

内存分配

将3台虚拟机分配好内存

JDK

安装JDK配置环境变量

安装配置mysql

在hadoop102上安装mysql,配置相应的用户权限。

关闭SELINUX

  1. 临时关闭:
    setenforce 0
  2. 修改配置文件/etc/selinux/config(重启生效)
    将SELINUX=enforcing 改为SELINUX=disabled

ssh免密登录

将hadoop102,hadoop103,hadoop104相互之间配置免密登陆。

下载第三方依赖

在三台节点(所有agent的节点)上执行下载第三方依赖

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb httpd mod_ssl

创建CM用的数据库

  1. 集群监控数据库
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
  1. hive数据库
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
  1. oozie数据库
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
  1. hue数据库
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

CM安装部署

CM下载地址:http://archive.cloudera.com/cm5/cm/5/
离线库下载地址:http://archive.cloudera.com/cdh5/parcels
注:以下所有操作均使用root用户

解压cloudera-manager-el6-cm5.12.1_x86_64.tar.gz

[root@hadoop102 module]# mkdir /opt/module/cloudera-manager
[root@hadoop102 module]# tar -zxvf /opt/software/cloudera-manager-el6-cm5.12.1_x86_64.tar.gz -C /opt/module/cloudera-manager/

创建用户cloudera-scm(所有节点)

[root@hadoop102 cloudera-scm-server]# useradd --system --home=/opt/module/cloudera-manager/cm-5.12.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

–system 创建一个系统账户
–home 指定用户登入时的主目录,替换系统默认值/home/<用户名>
–no-create-home 不要创建用户的主目录
–shell 用户的登录 shell 名
–comment 用户的描述信息
注意:
Cloudera Manager默认用户为cloudera-scm,创建具有此名称的用户是最简单的方法。 安装完成后,将自动使用此用户。

配置CM Agent

修改文件/opt/module/cloudera-manager/cm-5.12.1/etc/cloudera-scm-agent/ config.ini

[root@hadoop102 cloudera-scm-agent]# vim /opt/module/cloudera-manager/cm-5.12.1/etc/cloudera-scm-agent/config.ini
server_host=hadoop102

配置CM的数据库

  1. 拷贝mysql jar文件到目录 /usr/share/java/
[root@hadoop102 share]# mkdir /usr/share/java/
[root@hadoop102 cm-5.12.1]# cp /opt/software/mysql-libs/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar /usr/share/java/
[root@hadoop102 share]# mv /usr/share/java/mysql-connector-java-5.1.27-bin.jar /usr/share/java/mysql-connector-java.jar

注意jar包名称要修改为mysql-connector-java.jar
2. 在mysql中创建cm库

[root@hadoop102 cm-5.12.1]# /opt/module/cloudera-manager/cm-5.12.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hhadoop102 -uroot -p000000 --scm-host hadoop102 scm scm scm

-h:Database host
-u:Database username
-p:Database Password
–scm-host:SCM server’s hostname

分发cloudera-manager

[root@hadoop102 module]# scp -r /opt/module/cloudera-manager/ hadoop103:/opt/module/
[root@hadoop102 module]# scp -r /opt/module/cloudera-manager/ hadoop104:/opt/module/

创建Parcel-repo 目录

  1. Servre 节点创建目录/opt/cloudera/parcel-repo
[root@hadoop102 module]# mkdir -p /opt/cloudera/parcel-repo
[root@hadoop102 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
  1. 拷贝下载文件到/opt/cloudera/parcel-repo
    1)CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel
    2)CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1:需改名为CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha
    3)manifest.json
[root@hadoop102 cm-5.12.1]# mv /opt/software/CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1 /opt/software/CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha
[root@hadoop102 module]# cp /opt/software/CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha /opt/cloudera/parcel-repo/
[root@hadoop102 module]# cp /opt/software/CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel /opt/cloudera/parcel-repo/
[root@hadoop102 module]# cp /opt/software/manifest.json /opt/cloudera/parcel-repo/
  1. 在Agent 节点(hadoop102,hadoop103,hadoop104)创建目录/opt/cloudera/parcels
[root@hadoop102 module]# mkdir -p /opt/cloudera/parcels 
[root@hadoop102 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
[root@hadoop103 module]# mkdir -p /opt/cloudera/parcels 
[root@hadoop103 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
[root@hadoop104 module]# mkdir -p /opt/cloudera/parcels 
[root@hadoop104 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

分发Parcel-repo

[root@hadoop102 opt]# scp -r /opt/cloudera/ hadoop103:/opt/
[root@hadoop102 opt]# scp -r /opt/cloudera/ hadoop104:/opt/

启动和关闭CM Server&Agent 服务

服务节点:hadoop102

[root@hadoop102 init.d]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-server start
Starting cloudera-scm-server:                              [确定]

工作节点:hadoop102\hadoop103\hadoop104

[root@hadoop102 init.d]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent start
正在启动 cloudera-scm-agent: [确定]
[root@hadoop103 module]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent start
正在启动 cloudera-scm-agent: [确定]
[root@hadoop104 module]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent start
正在启动 cloudera-scm-agent: [确定]

注意:启动过程非常慢,Manager 启动成功需要等待一段时间,过程中会在数据库中创建对应的表需要耗费一些时间。

[root@hadoop102 init.d]# netstat -anp | grep 7180
tcp 0 0 0.0.0.0:7180 0.0.0.0:* LISTEN 5498/java

查看被占用则表示安装成功了!!!
访问http://hadoop102:7180,(用户名、密码:admin)
关闭:
服务节点:hadoop102

[root@hadoop102 init.d]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-server stop
停止 cloudera-scm-server:                                 [确定]

工作节点:hadoop102\hadoop103\hadoop104

[root@hadoop102 init.d]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent stop
Stopping cloudera-scm-agent:                               [确定]

CDH超详细离线安装_第3张图片
CDH超详细离线安装_第4张图片
CDH超详细离线安装_第5张图片
CDH超详细离线安装_第6张图片

关注微信公众号
简书:https://www.jianshu.com/u/0278602aea1d
CSDN:https://blog.csdn.net/u012387141

你可能感兴趣的:(hadoop入门及安装,linux,java,大数据,hadoop)