CDH6官方文档中文系列(4)----Cloudera安装指南(安装Navigator Data Management)

Cloudera安装指南

最近在学习cdh6的官方文档，网上也比较难找到中文的文档。
其实官方英文文档的阅读难度其实并不是很高，所以在这里在学习官方文档的过程中，把它翻译成中文，在翻译的过程中加深学习了解，并分享出来和大家一起学习。
中文内容是本人的渣渣英文水平结合有道词典，谷歌翻译的结果，文中部分词语可能翻译的并不准确，希望大家多多提出意见，共同进步。
cdh6的官方中文文档系列长期更新，最后目标整理成gitbook，同大家交流学习。
最后，如果你觉得本文对你有用，希望点个赞给作者一点鼓励哈。

与其感慨路难行不如马上上路，诸位道友，共同学习，加油！-------天南第一剑修

官方文档

本指南提供了在生产环境中安装Cloudera软件(包括Cloudera Manager、CDH和其他托管服务)的指导。

对于非生产环境(例如测试和概念验证用例)，请参阅概念验证安装指南，了解简化的(但有限的)安装过程。

本指南包括以下部分:

• 安装前
• 安装CM和CDH
• 安装Navigator Data Management
• 安装Navigator Encryption
• 安装后
• 解决安装问题
• 卸载Cloudera软件

安装Navigator Data Management

• Minimum Recommended Memory and Disk Space
• Configuring a Database for Cloudera Navigator
• Adding Cloudera Navigator Roles During the Cloudera Manager Installation Process
• Adding Cloudera Navigator Data Management Roles to an Existing Cloudera Manager Cluster
• Cloudera Navigator Data Management Documentation

Cloudera Navigator数据管理组件在两个不同的角色中实现——Navigator审计服务器和Navigator元数据服务器，它们运行在Cloudera管理服务上。这些角色可以在初始安装Cloudera Manager时添加，也可以稍后添加到现有的Cloudera Manager集群中。

重要提示:Cloudera Navigator数据管理需要Cloudera企业许可证。Cloudera Express没有这个功能。有关详细信息，请参见管理许可证。

本页中的步骤是安装Cloudera导航器作为新的Cloudera Manager集群安装的一部分，以及将服务添加到现有集群。有关升级现有部署的信息，请参见升级Cloudera Manager。

注意:有关兼容的Cloudera导航器和Cloudera管理器版本的信息，请参阅Cloudera导航器的产品兼容性矩阵。

建议的最小内存和磁盘空间

Resource	Navigator Audit Server	Navigator Metadata Server
Memory	不固定, 但是要求不少于Navigator Metadata Server	40 GB total
Java heap size	2 – 3 GB	10–20 GB (initial setup)
OS buffer cache	20 GB	20 GB (initial setup). Increase by 20-GB increments over time as needed.
Disk	数百GB。取决于集群大小和生成的审计卷。	200 GB (建议SSD)
Default path	None. 本地的 Cloudera Navigator 数据库.	/var/lib/cloudera-scm-navigator

Navigator Metadata Server 和Navigator Audit Server有不同的推荐配置，您在计划部署时应该考虑这些配置。初次安装时，请注意以下事项:

• ​ Navigator审计服务器内存和磁盘需求——对于Navigator审计服务器，2-3 GB (GB)的Java堆大小通常就足够了(内存通常不会产生任何问题)。对于Navigator Audit Server，数据库配置会影响性能，因此必须正确配置。由于Navigator审计服务器可能需要每天推送数百万行审计数据(取决于集群大小、服务数量和其他因素)，Cloudera建议:

  • 将数据库设置在与Navigator审计服务器相同的主机上，以最小化延迟。
  • 监视数据库工作负载并根据需要进行调优。

• Navigator Metadata Server Memory and Disk Requirements内存和磁盘需求——Navigator 元数据服务器的搜索功能依赖于嵌入式Solr实例。Solr索引在本地保存到主机的硬盘驱动器，通常只消耗几十gb的磁盘空间，因此为数据分配~200 gb通常就足够了。对于导航元数据服务器磁盘，Cloudera建议:

  • 在Solr索引所在的主机上挂载SSD驱动器，以获得最快的I/O。

  • 一旦系统启动并运行，请使用清除功能，以保持检查该位置的硬盘驱动器的消耗。

  导航元数据服务器可能出现的瓶颈通常与I/O和内存(而不是CPU)相关。内存包括可用于操作系统缓冲区缓存设置的Java堆大小和可用RAM。对于导航元数据服务器RAM, Cloudera建议:

  • 将Java堆大小设置为10-20 GB，这对于初始设置来说已经足够了。

  • 根据集群活动的需要，将操作系统缓冲区缓存增加20 GB以提高性能。

有关更多信息，请参见Navigator元数据服务器调优。

为Cloudera Navigator配置数据库

在安装Cloudera Navigator过程中，必须选择一个数据库来存储审计事件和策略、角色和审计报告元数据。您可以选择嵌入式PostgreSQL数据库，也可以选择外部数据库，如Oracle或MySQL(参见其他数据库系统的数据库需求)。

对于生产环境，Cloudera建议使用外部数据库而不是嵌入式PostgreSQL数据库。此外，在开始安装过程之前，必须设置并运行数据库。有关更多信息，请参见步骤4:安装和配置数据库。

在Cloudera Manager安装过程中添加Cloudera Navigator 角色

Cloudera管理器要求角色:完全管理员

1. 安装Cloudera管理器，详见安装指南。

2. 在Cloudera Manager安装向导的第一页，选择一个支持Cloudera导航器的许可选项:

   • 数据科学与工程版

   • 操作数据库版本

   • 数据库版本

   • 企业数据中心版

3. 上传许可:

   • 点击上传许可证。

   • 单击“选择许可文件文本字段”左边的文档图标。

   • 转到许可文件的位置，单击该文件，然后单击Open。

   • 点击上传。

4. 单击Continue继续安装。

5. 在Add Services过程的第一页，单击Include Cloudera Navigator复选框。

6. 要使用外部数据库，请在数据库设置页面中输入Cloudera Navigator审计服务器和元数据服务器数据库属性。

向现有的Cloudera管理器集群添加Cloudera导航器数据管理角色

如果Cloudera Manager集群有足够的资源，您可以随时向集群添加任何一个Cloudera导航器角色的实例。有关更多信息，请参阅:

• 添加Navigator审计服务器角色
• 添加Navigator元数据服务器角色

Cloudera导航器数据管理文档

下表列出了与配置、升级、管理和使用Cloudera Navigator数据管理组件相关的其他主题。

FAQ	Cloudera Navigator常见问题回答有关Cloudera Navigator数据管理组件以及它如何与其他Cloudera产品和集群组件交互的常见问题。
Introduction	Cloudera Navigator Data Management Overview为数据专员、治理和遵从性团队、数据工程师和管理员提供概述。包括Cloudera导航器的入门，对Cloudera导航器控制台(UI)和Cloudera导航器api的概述。
User Guide	Cloudera导航器数据管理指南向数据专员、法规遵循官员和其他业务用户展示如何使用Cloudera导航器执行数据治理、法规遵循、数据管理和其他任务。主题包括审计、元数据、传承图、Cloudera导航器和云、服务和安全管理等等。
Upgrade	升级Cloudera管理器(Cloudera导航器与Cloudera管理器一起升级)。
Security	Configuring Authentication for Cloudera Navigator Configuring TLS/SSL for Navigator Audit Server Configuring TLS/SSL for Navigator Metadata Server
Release Notes	Cloudera Navigator Data Management Release Notes