CDH 6.3.2集群安装部署

CDH 6.3.2集群安装部署

一 CDH概要

1.1 CDH的背景

• 原生的Hadoop版本很多，兼容性得自己调研，成本高
• 缺乏便捷的管理工具或者平台，运维效率低，成本高
• Hadoop相关组件发行商也比较多

基于以上一些原因，企业大数据开发和生产多采用CDH集群，便于集群的运维和管理等。

1.2 CDH介绍

首先，先说一下Cloudera公司，Cloudera公司提供了一个灵活的、可扩展的、容易集成和方便管理的平台，提供Web浏览器操作，容易上手。Cloudera产品和解决方案能提供部署、管理 Apache Hadoop和相关项目，维护和分析数据，保证数据安全受保护等。Cloudera公司提供一系列产品，包括：CDH、CMS、Impala、Search和Manager等。

CDH是Cloudera 提供的一个基于Web浏览器管理的灵活、可扩展的、容易集成和方便管理开源Hadoop和相关项目的平台。

CDH版本很多，CDH 6.3.x及以前版本都是免费，之后的版本是收费版本，本文档主要是使用CMS 6.3.1和CDH6.3.2版本。

CDH 6.3.2 Packaging具体如下：

Component	Component Version	Changes Information
Apache Avro	1.8.2	Changes
Apache Flume	1.9.0	Changes
Apache Hadoop	3.0.0	Changes
Apache HBase	2.1.4	Changes
HBase Indexer	1.5	Changes
Apache Hive	2.1.1	Changes
Hue	4.3.0	Changes
Apache Impala	3.2.0	Changes
Apache Kafka	2.2.1	Changes
Kite SDK	1.0.0	Changes
Apache Kudu	1.10.0	Changes
Apache Solr	7.4.0	Changes
Apache Oozie	5.1.0	Changes
Apache Parquet	1.9.0	Changes
Parquet-format	2.4.0	Changes
Apache Pig	0.17.0	Changes
Apache Sentry	2.1.0	Changes
Apache Spark	2.4.0	Changes
Apache Sqoop	1.4.7	Changes
Apache ZooKeeper	3.4.5	Changes

二 环境准备

2.1 安装部署环境

本次CDH和CMS安装环境及版本说明：

环境名称	版本	备注
window操作系统	11
VMware	16.1.0 build-17198959
Centos	7.7
Java	1.8.0_152
MySQL	5.7.28
chrome	版本 103.0.5060.114（正式版本） （64 位）

2.2 部署规划

主机名	IP	域名	服务	备注
qianfeng01	192.168.10.101	无		8G/2CPU
qianfeng02	192.168.10.102	无		3G/2CPU
qianfeng03	192.168.10.103	无		3G/2CPU

2.3 服务器主机映射

添加本机的静态IP和本机的主机名及域名之间的映射关系，如果不用域名可以不用添加，如果阿里云服务器也建议使用静态IP，我的具体配置如下：

[root@qianfeng01 ~]# vi /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.10.101 qianfeng01
192.168.10.102 qianfeng02
192.168.10.103 qianfeng03

注意

1. 规划中的每一台服务器都需要执行
2. 如果该步骤已经做过，直接跳过即可

2.4 服务器免登录配置

# 1. 使用rsa加密技术，生成公钥和私钥。一路回车键即可
[root@qianfeng01 ~]# ssh-keygen -t rsa

# 2. 使用ssh-copy-id命令
[root@qianfeng01 .ssh]# ssh-copy-id  root@qianfeng01
[root@qianfeng01 .ssh]# ssh-copy-id  root@qianfeng02
[root@qianfeng01 .ssh]# ssh-copy-id  root@qianfeng03

# 3. 验证免登录	
[hadoop@qianfeng01 .ssh]# ssh qianfeng01
[hadoop@qianfeng01 .ssh]# ssh qianfeng02
[hadoop@qianfeng01 .ssh]# ssh qianfeng03

# 4. 继续在qianfeng02和qianfeng03生成公钥和私钥，给三台节点互相拷贝和验证是否达到免登录。

2.5 防火墙关闭

每台规划安装的服务器都执行如下的命令。

#停止防火墙
[root@qianfeng01 ~]# systemctl stop firewalld
#禁用防火墙(开机不再自启动)
[root@qianfeng01 ~]# systemctl disable firewalld
#停止网络管理
[root@qianfeng01 ~]# systemctl stop NetworkManager
#禁用网络管理
[root@qianfeng01 ~]# systemctl disable NetworkManager

注意

1. 如果是阿里云服务器或者云服务器，没有办法或不允许关闭的，需要注意添加防火墙规则
2. 如果可以关闭，每一台服务器都需要执行防火墙关闭和禁止开机自启动

2.6 关闭Selinux

每台服务器都需要将selinux关闭掉，这是linux系统的一个安全机制，进入文件中将SELINUX设置为disabled，不关闭安装CM就应该会报错。

#关闭selinux，设置SELINUX=permissive，或者disable 然后重启服务器
[root@qianfeng01 ~]# vim /etc/selinux/config
.........
SELINUX=disabled			
.........
#关闭selinux，当前session生效，setenforce 0,其中的0就是permissive
[root@qianfeng01 ~]# setenforce 0

2.7 设置最大打开文件

每台服务器都执行如下命令行。

#设置，再末尾添加即可
[root@qianfeng01 ~]# vim /etc/security/limits.conf
* soft nofile 65536
* hard nofile 1024999
* soft nproc 65535
* hard nproc unlimited
* soft memlock unlimited
* hard memlock unlimited

2.8 关闭最大透明页面压缩

每台服务器都执行，并且设置后需要重启服务器。

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /etc/rc.local

2.9 设置Swappiness空间

每台服务器都需要执行，并且设置后需要重启服务器。

echo "vm.swappiness=0"  >> /etc/sysctl.conf

Cloudera建议将交换空间设置为0，过多的交换空间会引起GC的耗时激增。

2.10 安装JDK

每台规划的安装CM或者CDH的服务器都需要执行如下的JDK安装操作，如果已经做过，忽略即可。

1. 卸载之前的JDK

   # 卸载之前的原因，主要是需要保证安装的JDK版本的正确性。
   [root@qianfeng01 ~]# rpm -qa | grep jdk     		# 如果有,请卸载
   [root@qianfeng01 ~]# rpm -e xxxxxxxx --nodeps      	# 将查询到的内置jdk强制卸载
   

2. 上传JDK安装包到指定的路径

   使用MobaXterm或者FinalShell直接上传即可，上传到 /root/softwares 下
   

3. 解压JDK到指定安装路径

   [root@qianfeng01 ~]# cd /root/softwares && tar -zxvf jdk-8u152-linux-x64.tar.gz -C /usr/local
   

4. 配置环境变量

   [root@qianfeng01 local]# vim /etc/profile
   
   ...上述内容省略，在末尾添加即可...
   # Java Environment
   export JAVA_HOME=/usr/local/jdk1.8.0_152
   export PATH=$PATH:$JAVA_HOME/bin
   

5. 重新引导，使得环境变量生效

   [root@qianfeng01 local]# source /etc/profile
   

6. 验证JDK是否配置完成

   [root@qianfeng01 local]# java -version
   

7. 创建jdk的软链接

   #分别在qianfeng01、qianfeng02和qianfeng03上执行如下命令：
   mkdir -p /usr/java
   ln -s /usr/local/jdk1.8.0_152 /usr/java/default
   

注意

1. Cloudera强烈建议安装oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm，否则容易造成JAVA_HOME不被发现。但是我测试不安装他建议的oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm很多次都没有问题。这个大家自行考虑。
2. 上诉第7步骤创建软链接都建议需要操作，否则cdh安装可能有很多地方意向不到的错误，因为CDH默认都在/usr/java下找jdk。

2.11 MySQL安装部署

我下面给出MySQL 5.7.28和MySQL 8.0.26的安装部署，根据自己的需求，选择一种即可(MySQL部署一台服务器即可，生产部署集群或主从)。本次安装我选择的是MySQL 5.7.28来安装。

2.11.1 MySQL5.7.28安装部署

#如下是5.7.28的mysql的安装命令
1. 上传服务器的home目录
2. 分别执行命令如下
#解压MySQL安装包
tar -xvf /home/mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar 

#查询mariadb，并将其卸载
rpm -qa| grep mariadb
rpm -e mariadb-libs-5.5.64-1.el7.x86_64 --nodeps
rpm -qa| grep mariadb

#依次安装解压出来的MySQL包
rpm -ivh mysql-community-common-5.7.28-1.el7.x86_64.rpm 
rpm -ivh mysql-community-libs-5.7.28-1.el7.x86_64.rpm 
rpm -ivh mysql-community-client-5.7.28-1.el7.x86_64.rpm
#安装server需要的依赖
yum -y install perl net-tools
rpm -ivh mysql-community-server-5.7.28-1.el7.x86_64.rpm 
rpm -ivh /home/mysql-community-libs-compat-5.7.28-1.el7.x86_64.rpm  #为了cms的agent安装需要，单独MySQL不需要

#启动或者停止MySQL服务
systemctl start mysqld
systemctl status mysqld

#查询MySQL的初始密码
cat /var/log/mysqld.log | grep password

#登录MySQL进行密码策略修改和授权
mysql -uroot -p
 输入密码(刚才查询出来的初始化密码)
mysql>set global validate_password_policy=low;
mysql>set global validate_password_length=2;
mysql>alter user root@localhost identified by '123456';

# 3. 远程授权
create user root@'%' identified by '123456';
grant all privileges on *.* to 'root'@'%' with grant option;

# 4. 删除mysql表中的Host='localhost' and User = 'root'
mysql> delete from mysql.user where Host="localhost" and User = 'root';

# 5. 刷新权限
flush privileges;

2.11.2 MySQL 8.0.26安装部署

1. 安装包准备

   通过SSH工具，将MySQL的RPM安装包上传到Linux的 ~/software 目录下。
   
   MySQL的RPM安装包，可以在MySQL的官网下载，也可以直接使用课程提供的资料。 注意事项:
   - 在官网下载安装包的时候，注意版本号
   - mysql-8.0.26-1.el7.aarch64.rpm-bundle.tar
   - 这里的el7，表示适用于CentOS7的版本。注意，不要下载el6的。
   - aarch64: 这个表示arm版本的CentOS，如果是amd64架构的，可以选择x64。
   

2. 安装前准备

    # CentOS7中，系统默认采用的数据库是mariadb，这个数据库与MySQL冲突!
   # 因此，在安装MySQL之前，需要先将其卸载!
   [root@qianfeng01 ~]# rpm -qa | grep mariadb 	# 查询是否已经安装了mariadb 
   mariadb-libs-5.5.68-1.el7.aarch64 				# 查询结果。如果没有这个结果，说明没有安装。
   
   # 强制卸载mariadb
   # --nodeps: 强制卸载，RPM卸载程序的时候，如果这个程序被其他的程序依赖，是无法卸载的。
   # 			此时，就需要使用--nodeps，忽略依赖，强制卸载。
   # 下面的卸载命令中，卸载的包是上方查询到的包
   [root@qianfeng01 ~]# rpm -e mariadb-libs-5.5.68-1.el7.aarch64 --nodeps
   

3. 安装MySQL

    # 安装MySQL, 其实就需要安装 mysql-community-server, 但是它依赖其他的包
   [root@qianfeng01 mysql]# rpm -ivh mysql-community-common-8.0.26-1.el7.aarch64.rpm 
   [root@qianfeng01 mysql]# rpm -ivh mysql-community-client-plugins-8.0.26-1.el7.aarch64.rpm
   [root@qianfeng01 mysql]# rpm -ivh mysql-community-libs-8.0.26-1.el7.aarch64.rpm 
   [root@qianfeng01 mysql]# rpm -ivh mysql-community-libs-compat-8.0.26-1.el7.aarch64.rpm 
   [root@qianfeng01 mysql]# rpm -ivh mysql-community-client-8.0.26-1.el7.aarch64.rpm 
   [root@qianfeng01 mysql]# yum install -y net-tools
   [root@qianfeng01 mysql]# rpm -ivh mysql-community-server-8.0.26-1.el7.aarch64.rpm
   

4. 启动MySQL的服务

    # 查看MySQL服务的运行状态
   [root@qianfeng01 ~]# systemctl status mysqld 
   # 如果MySQL服务没有开启，则开启
   [root@qianfeng01 ~]# systemctl start mysqld
   

5. 登录到MySQL

    # 在第一次开启MySQL服务的时候，会自动生成一个随机的密码
   [root@qianfeng01 ~]# grep password /var/log/mysqld.log 
   # 到mysqld.log文件中查找 password
   2020-12-16T07:47:14.117739Z 1 [Note] A temporary password is generated for root@localhost: pVLJs6&o(QQe
   # 使用这个随机密码登录到MySQL 
   [root@qianfeng01 ~]# mysql -u root -p 
   pVLJs6&o(QQe # 这里用自己的密码登录
   

6. 修改密码

   # 1. 修改MySQL的密码策略(安全等级)
   # MySQL默认的密码安全等级有点高，在设置密码的时候，必须同时包含大小写字母、数字、特殊字符，以及对位数有要求
   show variables like '%validate_password%';
   set global validate_password.policy=LOW;
   set global validate_password.length=2;
   set global validate_password.mixed_case_count=0;
   set global validate_password.number_count=0;
   set global validate_password.special_char_count=0;
   # 2. 修改密码
   alter user root@localhost identified by '123456';
   # 3. 远程授权
   create user root@'%' identified by '123456';
   grant all privileges on *.* to 'root'@'%' with grant option;
   
   # 4. 删除mysql表中的Host='localhost' and User = 'root'
   mysql> delete from mysql.user where Host="localhost" and User = 'root';
   
   # 5. 刷新权限
   flush privileges;
   

7. 重新登录

   试着退出MySQL，用新的密码重新登录。如果可以登录成功，那么MySQL的安装就到此结束!
   MySQL在安装完成后，是不需要配置环境变量的。因为RPM的安装特性，启动脚本会被放到/usr/bin下。这个路径本来 就在环境变量里面，不需要单独配置。
   

8. 提前为CMS创建相关数据库

   # 登录mysql
   mysql -uroot -p
   # 登录后执行下面的sql
   CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
   GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY 'scm123456';
   CREATE DATABASE hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
   CREATE DATABASE oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
   CREATE DATABASE hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
   CREATE DATABASE report DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
   
   grant all privileges on *.* to 'root'@'%' identified by '123456';
   flush privileges;
   

注意

1. MySQL使用一台服务器安装部署即可。
2. MySQL一定要授权远程某一个指定IP规则的服务器能登录到。
3. 如果使用阿里云或者物理机服务器，建议把密码等级和权限等级都提升。

2.12 所有节点安装MySQL JDBC驱动依赖包

 # 主节点创建/usr/share/java目录，将jdbc的jar包放进去
[root@qianfeng01 home]# mkdir -p /usr/share/java  # cdh默认搜索目录
[root@qianfeng01 home]# cp mysql-connector-java-5.1.28-bin.jar /usr/share/java/mysql-connector-java.jar # 去掉版本号
#采用远程分发
[root@qianfeng01 cloudera-scm-server]# scp -r /usr/share/java qianfeng02:/usr/share/                                                                                                                          
[root@qianfeng01 cloudera-scm-server]# scp -r /usr/share/java qianfeng03:/usr/share/

2.13 创建ClouderaManager用户

每台节点都执行如下操作。

useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

三 CM和CDH部署

3.1 上传安装文件

╭liyadong at ~
╰$ scp ~/Desktop/CDH6.3.2.zip qianfeng01:/home
[root@qianfeng01 home]# unzip ./CDH6.3.2.zip

需要安装包的，留言我发你链接即可，留言必发！！！

3.2 创建cloudera-manager目录

#创建目录
[root@qianfeng01 home]# mkdir /opt/cloudera-manager
#解压CDH安装文件
[root@qianfeng01 home]# cd ./CDH6.3.2
[root@qianfeng01 CDH6.3.2]# tar -zxvf cm6.3.1-redhat7.tar.gz
#移动
[root@qianfeng01 CDH6.3.2]# cp ./cm6.3.1/RPMS/x86_64/cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm /opt/cloudera-manager/
[root@qianfeng01 CDH6.3.2]# cp ./cm6.3.1/RPMS/x86_64/cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm /opt/cloudera-manager/
[root@qianfeng01 CDH6.3.2]# cp ./cm6.3.1/RPMS/x86_64/cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm /opt/cloudera-manager/
#列出软件
[root@qianfeng01 CDH6.3.2]# ll /opt/cloudera-manager/
总用量 1185872
-rw-r--r--. 1 root root   10483568 3月  25 13:24 cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
-rw-r--r--. 1 root root 1203832464 3月  25 13:25 cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
-rw-r--r--. 1 root root      11488 3月  25 13:25 cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm

3.3 分发cloudera-manager到其他节点

[root@qianfeng01 CDH6.3.2]# scp -r /opt/cloudera-manager/ qianfeng02:/opt/
[root@qianfeng01 CDH6.3.2]# scp -r /opt/cloudera-manager/ qianfeng03:/opt/

3.4 每个节点安装daemons、agent

#先安装agent需要的依赖(每台节点都执行)
[root@qianfeng01 ~]# yum install -y redhat-lsb httpd mod_ssl openssl-devel python-psycopg2 MySQL-python libpq.so
[root@qianfeng02 ~]# yum install -y redhat-lsb httpd mod_ssl openssl-devel python-psycopg2 MySQL-python libpq.so
[root@qianfeng03 ~]# yum install -y redhat-lsb httpd mod_ssl openssl-devel python-psycopg2 MySQL-python libpq.so
 
#agent需要提前安装的依赖(每台节点都执行)
[root@qianfeng01 ~]# yum -y install perl bind-utils libxslt cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs psmisc openssl httpd mod_ssl openssl-devel python-psycopg2 MySQL-python postgresql-libs.x86_64 lsb
[root@qianfeng02 ~]# yum -y install perl bind-utils libxslt cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs psmisc openssl httpd mod_ssl openssl-devel python-psycopg2 MySQL-python postgresql-libs.x86_64 lsb
[root@qianfeng03 ~]# yum -y install perl bind-utils libxslt cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs psmisc openssl httpd mod_ssl openssl-devel python-psycopg2 MySQL-python postgresql-libs.x86_64 lsb

#每台节点安装cloudera-manager-daemons，安装完毕后生成/opt/cloudera目录
[root@qianfeng01 ~]# rpm -ivh /opt/cloudera-manager/cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
[root@qianfeng02 ~]# rpm -ivh /opt/cloudera-manager/cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
[root@qianfeng03 ~]# rpm -ivh /opt/cloudera-manager/cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
#每台节点安装
[root@qianfeng01 ~]# rpm -ivh /opt/cloudera-manager/cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
[root@qianfeng02 ~]# rpm -ivh /opt/cloudera-manager/cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
[root@qianfeng03 ~]# rpm -ivh /opt/cloudera-manager/cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm

3.5 主节点安装server

[root@qianfeng01 ~]# rpm -ivh /opt/cloudera-manager/cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm

3.6 Server配置

## 主节点修改server的配置，确定以下项与之前创建库时一致,用户名和密码授权的也要和如下一致
[root@qianfeng01 CDH6.3.2]# vi /etc/cloudera-scm-server/db.properties
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=qianfeng01
com.cloudera.cmf.db.name=scm
com.cloudera.cmf.db.user=scm
com.cloudera.cmf.db.password=scm123456
com.cloudera.cmf.db.setupType=EXTERNAL

3.7 Agent配置

## 每个从节点修改agent的配置，指向server的节点
[root@qianfeng01 CDH6.3.2]# vi /etc/cloudera-scm-agent/config.ini
server_host=qianfeng01

3.8 初始化Server需要的数据库

# 初始化cm数据库（密码自己设置）
[root@qianfeng01 ～]# /opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm scm123456
 
# 脚本参数解释
scm_prepare_database.sh 【数据库类型】 【CDH要创建的数据库名称】 【CDH数据库用户名】 【CDH数据库用户密码】

3.9 部署离线parcel源

[root@qianfeng01 CDH6.3.2]# mkdir -p /opt/cloudera/parcel-repo
[root@qianfeng01 CDH6.3.2]# mv /home/CDH6.3.2/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel /opt/cloudera/parcel-repo
[root@qianfeng01 CDH6.3.2]# mv /home/CDH6.3.2/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 /opt/cloudera/parcel-repo/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha
[root@qianfeng01 CDH6.3.2]# mv /home/CDH6.3.2/manifest.json /opt/cloudera/parcel-repo

3.10 启动CMS的Server和Agent

## 主节点启动server
[root@qianfeng01 CDH6.3.2]# systemctl start cloudera-scm-server
 
# 查看日志，出现7180说明启动成功,，有错误解决错误
[root@qianfeng01 CDH6.3.2]# tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
 
## 查看端口 7180
[root@qianfeng01 CDH6.3.2]# netstat -nltcp | grep 7180 
# qianfeng01:7180可以进入web页面表示成功，接下来启动agent
 
## 每个从节点启动agent
[root@qianfeng01 CDH6.3.2]# systemctl start cloudera-scm-agent
 
## 停止
[root@qianfeng01 CDH6.3.2]# systemctl stop cloudera-scm-server
[root@qianfeng01 CDH6.3.2]# systemctl stop cloudera-scm-agent
[root@qianfeng01 CDH6.3.2]# systemctl disable cloudera-scm-server # 关闭开机启动
[root@qianfeng01 CDH6.3.2]# systemctl disable cloudera-scm-agent # 关闭开机启动

3.11 Windows配置映射

#编辑如下的配置文件，mac系统为/etc/hosts文件，追加如下3行映射
C:\Windows\System32\drivers\etc\hosts

192.168.10.101 qianfeng01
192.168.10.102 qianfeng02
192.168.10.101 qianfeng03

3.12 访问Server

http://qianfeng01:7180 ,默认用户名和密码都为admin，自己登录即可。

四 CDH集群安装

4.1 CMS主页面

登录CMS，成功后进入CMS的主页面如下，如下图所示：

4.2 接受许可协议

点击如上图中的右下角的继续接受许可协议，如下图所示：

4.3 版本选择

CMS总共提供三个版本，最左边是免费版、中间是试用期60天版(到期后会通知，不缴费自动转免费版)和最右企业版。我这里选择试用60天，如下图所示：

4.4 CDH集群安装

4.4.1 CDH集群安装主页面

进入群集安装，选择右下角的继续即可：

4.4.2 集群名称

集群名称填写，如下图所示：

4.4.3 指定主机

选择主机，用于安装CDH相关软件包的主机，会自动检测出来，我们只需要勾选即可，如下图所示：

4.4.4 选择pracel

选择CDH的版本，即CDH对应的Parcels(它里面包含一系列的CDH相关服务的软件包)，这个地方显示的就是我们之前部署离线parcel源步骤的结果，然后继续即可：

4.4.5 安装Parcels

开始安装Parcels，将主服务器上的Parcels下载、分配到其它服务器，并进行解压和激活可用操作，所以这一步需要稍微等一会，等待安装成功如下图所示：

4.4.6 检测网络性能和主机

检测服务器之间的网络性能、到达性，该步骤防火墙最好关闭；检查所有主机环境是否符合安装Parcels相关包，比如检测JAVA环境是否一致和最大透明页是否关闭等。检测成功如下图所示：

两个都检测成功如下所示：

4.4.7 选择服务

选择安装那些服务，它提供几类系列搭配和自定义服务，我这里选择大数据开发，如下图所示：

4.4.8 角色分配

就是将选择的服务分配到指定主机上安装，默认就设置了，大家认真检查一下是否是自己所需要的即可，适当调整，也可以进入按主机查看来进行调整也行，具体分配如下图所示：

4.4.9 数据库设置

配置对应服务的元数据库、用户名和密码，使用提前创建的好的数据库，用户名对对应的库一定要有对应的权限，测试全部连接成功后，选择右下角的继续。具体如下图所示：

4.4.10 审核配置更改

可以根据自己需要修改一些服务的相关配置，我这儿全部采用默认，具体如下图所示：

4.4.11 首次运行CDH集群

第一次运行CDH集群的相关命令详细信息，不需要操作，如有报错，查看对应的错误信息，等待完成。然后选择继续即可：

4.4.12 汇总

服务安装和运行的汇总，通常都是完成状态，如下图：

点击完成，到此为止CDH安装结束。

五 CDH 集群操作

5.1 CDH集群主页面

CDH集群主页面面服务及状态查看：

上图中，绿色✅小圆圈代表正常，黄色对勾小圆圈代表异常，红色对勾小圆圈代表错误。黄色小扳手代表配置异常。

CDH主页面的顶部顶部导航概览：

如主机下的角色分配：

5.2 HDFS服务

HDFS的配置如下：

访问HDFS的NameNode服务：

访问如下图：

5.3 YARN服务

YARN服务介绍：

查看ResourceManager的Web UI：

5.4 Hue服务与操作

Hue相关服务：

Hue创建用户：

Hue面板介绍：

Hue执行Hive相关命令：

5.5 用户&角色管理

添加CDH用户：

添加用户：

角色则是，为某个用户分配某个集群什么权限，自行操作即可。

六 CDH集群拓展

6.1 CDH安装后目录介绍

CDH在服务器相关服务的安装目录：/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/服务名称

CDH在服务器相关的配置目录：/etc/服务名称 或者 /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/etc/服务名称，建议第一种方式。

CDH在服务器相关服务命令行目录：/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/bin/服务命令 或 /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/服务名称/bin/对应服务

6.2 启用HDFS的HA

参考我的文章：https://blog.csdn.net/u010839779/article/details/129162558?spm=1001.2014.3001.5502

6.3 启用YARN的HA

参考我的文章：https://blog.csdn.net/u010839779/article/details/129254636?spm=1001.2014.3001.5502

6.4 其它CDH相关问题(升级Hive版本、安装Apache Spark等)

参考我的CDH分类专栏：https://blog.csdn.net/u010839779/category_12198067.html

参考：
https://blog.csdn.net/suwei825/article/details/120761437