【KeyarchOS】安装部署CM5.13.0和CDH5.13.0实践

目录

1 概述

2 安装准备

2.1 操作系统环境

2.2 CM版本

3 安装

3.1 安装CM5.13.0

4 运行CM安装CDH

4.1 启动CM服务

4.2 初始化CM并安装CDH5.13.0

---

1 概述

浪潮信息KOS是浪潮信息基于Linux Kernel、OpenAnolis等开源技术自主研发的一款服务器操作系统，支持x86、ARM等主流架构处理器，性能和稳定性居于行业领先地位，具备成熟的 CentOS 迁移和替换能力，可满足云计算、大数据、分布式存储、人工智能、边缘计算等应用场景需求。详细介绍见官网链接浪潮信息KOS服务器操作系统-服务器操作系统-浪潮信息。

CM（cloudera Manager）是一种管理CDH集群的端到端的应用。CM通过对CDH集群的各部分提供精细的可视化和控制，建立了企业级部署的标准，增强了操作人员的能力以提升性能、提升服务质量、提高合规性、降低管理成本。通过CM，技术人员可以很容易地部署和集中化操作CDH技术栈和其他可托管的服务。它使安装过程自动化，使部署时间从几个星期减少到几分钟；提供了一个集群范围、实时的主机和服务运行情况的视图；提供了一个单一的中央控制台，以对集群配置进行变更；并采用全方位的报告和诊断工具来帮助你优化性能和利用率。官网：https://www.cloudera.com/products/product-components/cloudera-manager.html。

CDH（Cloudera’s Distribution Including Apache Hadoop）是Hadoop发行版的一种，是一套目前比较完整的、充分测试的Hadoop及其相关项目的发行版。CDH的基础组件均基于apache license开源，无论是个人学习还是企业使用都比较有保障。CDH提供以下特性：灵活性：能够存储各种类型的数据，并使用各种不同的计算框架进行操作，包括批处理、交互式sql、文本搜索、机器学习和统计计算。集成性：能够快速集成和运行一个完整的Hadoop平台，适用于各种不同的硬件和软件。安全性：处理和控制敏感数据。扩展性：能够部署多种应用，并扩展和扩充它们以满足你的需求。高可用性：可以放心地用于关键的商业任务。兼容性：可以利用你现有的IT基础设施和资源，官网：https://www.cloudera.com/。

2 安装准备

2.1 操作系统环境

版本信息：KeyarchOS 5.8

硬件平台：X86_64

2.2 CM版本

CM5.13.0

下载地址：https://pan.baidu.com/s/1Q8-eAL7kx-Gljck_Bw3cbA?pwd=kss3

提取码：kss3

3 安装

3.1 安装CM5.13.0

配置主机名

使用命令使其立刻生效

hostname $(cat /etc/hostname)

修改文件/etc/hosts

关闭防火墙、关闭SELinux

 配置免密登录

 

卸载自带的jdk，安装jdk1.8.0_131并配置环境变量 

 

安装MySQL8.0.26(已经在KOS AppSteam仓库发布) 

 启动MySQL服务

 创建目录、创建cloudera-scm用户

解压并安装CM

 yum install cloudera-manager-daemons-5.13.0-1.cm5130.p0.55.el7.x86_64.rpm

 yum install cloudera-manager-server-5.13.0-1.cm5130.p0.55.el7.x86_64.rpm 

[root@node132 ~]#yum install cloudera-manager-agent-5.13.0-1.cm5130.p0.55.el7.x86_64.rpm 

修改cloudera-manger和cloudera-agent配置文件

指定数据库和主节点（主节点）

 

 

 创建parcels目录、创建/usr/share/java/ 

用于后期cdh启动部署

安装mysql-connector-java-5.1.46

复制到系统文件夹下

登录Mysql创建数据库，创建用户并授权 

 

 准备parcels

（将下面的三个文件按照安装前下载到这个目录下/opt/cloudera/parcel-repo），用以安装CDH5，创建parcel-repo仓库目录

4 运行CM安装CDH

4.1 启动CM服务

 /etc/init.d/cloudera-scm-server restart

/etc/init.d/cloudera-scm-agent restart 

4.2 初始化CM并安装CDH5.13.0

浏览器打开CM

浏览器打开http://node132:7180，用户名密码都是admin

 

 群集安装选择安装CDH5.13.0

 

 选择集群设置