【200页】CDH安装运维手册

摘要：

1.200页CDH大数据集群运维手册

2.内容涵盖大数据集群安装、节点管理、用户管理、资源管理和安全管理

目 录

1.Cloudera Manager  使用【1】

2.配置安 装源【2】

  2.1.配置Linux源【2】

  2.2.配置CDH源【3】

3.集群管理【4】

  3.1.升级CM和CDH【4】

      3.1.1.Cloudera升级概述【4】

      3.1.2.CDH升级概述【6】

      3.1.3.JDK升级【6】

      3.1.4.配置安装源【7】

      3.1.5.升级CM【7】

      3.1.6.升级CDH【14】

  3.2.升级 JDK【22】

      3.2.1.JDK8安装包准备【23】

      3.2.2.部署JDK8到集群【24】

      3.2.3.Cloudera Manager配置【24】

      3.2.4.验证集群JDK8环境【25】

      3.2.5.常见问题【26】

  3.3.升级Kafka和Spark【26】

      3.3.1.设置源地址【26】

      3.3.2.更换Spark CSD文件【26】

      3.3.3.配置Spark2的JAVA环境变量【29】

  3.4.集群数据备份【29】

      3.4.1.namenode节点元数据备份【29】

      3.4.2.备份MySQL元数据【31】

      3.4.3.集群用户数据备份【31】

  3.5.卸载CDH【32】

      3.5.1.数据备份【32】

      3.5.2.停止所有服务【32】

      3.5.3.删除集群【34】

      3.5.4.停止CM相关服务【34】

      3.5.5.卸载所有服务【34】

      3.5.6.移除Cloudera Manager和用户数据【35】

      3.5.7.移除用户数据【36】

      3.5.8.停止并移除外部数据库【37】

  3.6.迁移数据库【38】

      3.6.1.环境说明【38】

      3.6.2.停止所有集群服务【38】

      3.6.3.停止CM服务【39】

      3.6.4.备份原数据库数据【40】

      3.6.5.安装数据库【40】

      3.6.6.启动数据库【40】

      3.6.7.初始化数据库【40】

      3.6.8.导入备份数据至新库【41】

      3.6.9.修改CM的数据库配置信息【41】

      3.6.10.启动CM服务【42】

      3.6.11.修改集群服务配置【42】

      3.6.12.启动所有集群服务【44】

  3.7.迁移Cloudera manager【44】

      3.7.1.环境说明【44】

      3.7.2.服务器配置【44】

      3.7.3.配置安装源【47】

      3.7.4.安装Cloudera Manager服务【49】

      3.7.5.为CM配置外部数据库【49】

      3.7.6.停止所有集群服务【50】

      3.7.7.停止CM服务【51】

      3.7.8.迁移原CM节点数据【51】

      3.7.9.更新集群所有节点的CM Server指向【51】

      3.7.10.启动CM服务【52】

      3.7.11.启动所有集群服务【52】

  3.8.集群功能测试【52】

      3.8.1.安全测试【52】

      3.8.2.性能测试【53】

4.集群节点管理【58】

  4.1.增加节点【58】

      4.1.1.异构节点说明【58】

      4.1.2.环境说明【58】

      4.1.3.服务器配置【59】

      4.1.4.配置kerberos客户端【62】

      4.1.5.模板准备【64】

      4.1.6.安装CDH【67】

      4.1.7.应用主机模板【72】

      4.1.8.迁移角色组【73】

      4.1.9.增加节点后续配置【75】

  4.2.删除节点【76】

  4.3.HDFS数据平衡【78】

      4.3.1.Balance参数说明【78】

      4.3.2.查看数据分布情况【79】

      4.3.3.使用CM【80】

      4.3.4.额外注意事项【81】

5.集群用户管理【81】

  5.1.Cloudera manager用户添加【81】

      5.1.1.未配置CM和LDAP的集成【81】

      5.1.2.已经配置CM和LDAP的集成【82】

  5.2.HUE用户添加【83】

      5.2.1.未配置HUE和LDAP的集成【83】

      5.2.2.已经配置HUE和LDAP的集成【85】

      5.2.3.设置用户为HUE的超级管理员【87】

      5.2.4.设置用户在HUE中的权限【87】

  5.3.集群用户添加【88】

      5.3.1.linux用户添加【88】

      5.3.2.为用户生成kaytab【92】

6.集群资源管理【93】

  6.1.YARN动态资源池【93】

      6.1.1.前期配置【94】

      6.1.2.资源池设置【96】

      6.1.3.创建资源池【100】

      6.1.4.YARN任务放置规则配置【101】

  6.2.静态资源池【102】

7.集群安全管理【104】

  7.1.HDFS的权限控制【104】

      7.1.1.通过命令行授权【105】

      7.1.2.通过HUE授权【106】

  7.2.Sentry简介【109】

      7.2.1.Sentry术语【109】

      7.2.2.Sentry语法【110】

      7.2.3.Sentry的管理员设置【112】

  7.3.Hive和Impala的权限管理【113】

      7.3.1.可授权对象【114】

      7.3.2.Hive/Impala 操作所需要的权限【114】

      7.3.3.操作示例【119】

  7.4.Hbase的权限管理【134】

      7.4.1.设置Hbase的超级用户【134】

      7.4.2.Hbase权限设置【135】

1 Cloudera Manager使用

Cloudera Manager是CDH市场领先的管理平台。作为业界第一的端到端Apache Hadoop的管理应用，Cloudera Manager对CDH的每个部件都提供了细粒度的可视化和控制，从而设立了企业部署的标准。通过Cloudera Manger，运维人员得以提高集群的性能，提升服务质量，提高合规性并降低管理成本。

Cloudera Manager设计的目的是为了使得对于企业数据中心的管理变得简单和直观。通过 Cloudera Manager，可以方便地部署并且集中式的操作完整的大数据软件栈。该应用软件会自动化安装过程，从而减少了部署集群的时间。通过Cloudera Manager可以提供一个集群范围内的节点实时运行状态视图。同时，还提供了一个中央控制台，可以用于配置集群。不仅如此，Cloudera Manager通过包含一系列的报道和诊断工具，可以帮助优化集群性能，并且提高利用率。Cloudera Manager能够提供以下的功能:

1. 自动化Hadoop安装过程，大幅缩短部署时间
2. 提供实时的集群概况，例如节点、服务的运行状况
3. 提供了集中的中央控制台对集群的配置进行更改
4. 包含全面的报告和诊断工具，帮助优化性能和利用率

Cloudera Manager 的架构如图所示，主要由如下几部分组成:

1. 服务端/Server:Cloudera Manager的核心。主要用于管理web server和应用逻辑。它用于安装软件，配置，开始和停止服务，以及管理服务运行的集群。
2. 代理/agent:安装在每台主机上。它负责启动和停止的进程，部署配置，触发安装和监控主机。
3. 数据库/Database:存储配置和监控信息。通常可以在一个或多个数据库服务器上运行的多个逻辑数据库。例如，所述的Cloudera管理器服务和监视后台程序使用不同的逻辑数据库。
4. Cloudera Repository:用于软件分发由Cloudera软件仓库。
5. 客户端/Clients:提供了一个与Server交互的接口:
6. 管理平台/Admin Console:提供一个管理员管理集群和Cloudera Manage的基于网页的交互界面。
7. API:为开发者提供了创造自定义Cloudera Manager程序的API。

2 配置安装源

2.1 配置Linux源

安装前选择一台机器安装配置本地源并安装http服务，如utility01

挂载redhat的安装光盘，/root/rhel-server-x86_64-dvd.is为iso镜像的地址

mount -o loop -t iso9660 /root/rhel-server-x86_64-dvd.iso /mnt/boson

在/etc/yum.repos.d下添加rhel6.repo文件

[rhel6] name=Redhat Enterprise Linux baseurl=file:///mnt/boson enabled=1 gpgcheck=1 gpgkey= file:///mnt/boson/RPM-GPG-KEY-redhat-release

安装http服务

yum -y install httpd

设置开机自启动

chkconfig httpd on

启动http服务

service httpd start

将光盘内容拷贝到/var/www/html下

scp -r /mnt/boson /var/www/html/redhat/

确认使用http:// utiliity01.cdhtest.com /redhat可以访问到下载的文件夹。

在其他服务器上配置源，在/etc/yum.repos.d下添加rhel.repo文件

[local] name=Redhat Enterprise Linux baseurl=http://utiliity01.cdhtest.com/redhat enabled=1 gpgcheck=1 gpgkey=http:// utiliity01.cdhtest.com/redhat/RPM-GPG-KEY-redhat-release

2.2 配置CDH源

由于本次在内网环境安装，需要在cloudera官网下载cm安装包和cdh parcel包

cm安装包下载地址如下，可按照需要选择自己需要的版本，目前采用的版本为5.11.2

http://archive.cloudera.com/cm5/repo-as-tarball/

cdh parcel包下载地址如下，请选择和cm配套的版本

http://archive.cloudera.com/cdh5/parcels/

下载后将所有安装包传输至内网环境任一机器，解压缩后的目录结构如下（仅为示意）：

将所有文件拷贝至/var/www/html/供集群使用，确认使用http:// utiliity01.cdhtest.com/cdh 和http:// utiliity01.cdhtest.com/cm可以访问到安装包

在/etc/yum.repos.d/文件夹下创建repo文件，如cloudera-manager.repo，内容如下。

[cloudera-manager] baseurl=http:// utiliity01.cdhtest.com/cm/5/ gpgkey=http:// utiliity01.cdhtest.com/RPM-GPG-KEY-cloudera gpgcheck=1

因篇幅太长，完整文档，下面微信领取