当您计划在集群和编写的每个节点,你根据你的集群计划准备在每个节点上安装MAPR分布。
在整个集群中安装MAPR软件涉及执行的每个节点上的几个步骤。为了使安装过程更加简单,我们将推迟的Apache Hadoop的组件,如HBase的或蜂房的安装,直到第5步,安装Hadoop的组件。然而,有经验的管理员可以在如果需要同时MAPR软件安装这些组件。它通常是更容易安装的Hadoop生态系统组件之前,弹出MAPR Hadoop集群成功。
以下各节描述的步骤和选项可用于安装MAPR软件:
转
或DEB
包文件
当安装MAPR软件,每个节点必须能够访问包文件。有几种方法可以指定包会。本节介绍提供给每个节点程序包的方式。选项有:
转
或DEB
包文件您还必须考虑到MAPR软件所依赖 的所有软件包。你可以在开始MAPR安装过程之前,每个节点上安装的依赖,也可以指定存储库,并允许每个节点上的包管理器来解决依赖关系。见包和依赖关系MAPR软件的详细信息。
开始在2.0版本中,MAPR分离的分配分为两个版本库:
互联网上的MAPR库中提供了所有你需要的顺序使用本机工具,如安装一个MAPR集群套件百胜
在Red Hat或CentOS,或apt-get的
Ubuntu上。从MAPR的存储库中安装通常是用于安装的最简单的方法,但需要的带宽的最大量。使用这种方法,每个节点都必须连接到互联网,并会单独下载必要的软件包。
以下是有关设置库对于每个受支持的Linux发行版的说明。
你可以设置一个本地仓库每个节点上提供访问安装包。使用这种方法,每个节点上的包管理器从本地存储库中的包安装。节点不需要被连接到互联网。
下面是关于建立一个本地仓库为每个受支持的Linux发行版的说明。这些指令创建一个单一的储存库,包括MAPR组件和Hadoop的生态系统组成部分。
设置本地存储库中需要运行的节点访问下载包的Web服务器。建立一个Web服务器不记录在这里。
转
或DEB
包文件您可以下载包文件,并将其储存在本地,并从那里安装。此选项用于未连接到Internet集群是有用的。
,
和
:
http://package.mapr.com/releases/v / / MAPR-V GA.rpm.tgz
(或。deb.tgz
)
例如,http://package.mapr.com/releases/v3.0.2/ubuntu/mapr-v3.0.2GA.deb.tgz。(见MAPR库和软件包档案馆为所有过去的版本中正确的路径。)
解压压缩包到本地目录,无论是在每个节点或所有节点访问本地网络上。
MAPR软件包的依赖关系需要在每个节点上,以便MAPR安装成功预装。如果你不使用的软件包管理器来安装从网上储存库的依赖,你需要手动下载和安装其他依赖包为好。
之后使你的集群计划和准备包和库,你可以安装MAPR软件。
当你需要从你的集群计划如下:
对每个节点执行下列步骤:
configure.sh
脚本来配置该节点disksetup
脚本
服务 |
包 |
---|---|
CLDB |
|
JobTracker的 |
|
MAPR控制系统 |
|
MAPR-FS文件服务器 |
|
指标 |
|
NFS |
|
TaskTracker必须 |
|
动物园管理员 |
|
MAPR HBase的客户端 |
|
|
|
Hadoop的生态系统组成部分 |
使用MAPR测试版本,兼容并在某些情况下改善了部件 |
层叠 |
|
水槽 |
|
HBase的 |
|
HCatalog |
|
蜂巢 |
|
亨利马乌 |
|
Oozie的 |
|
猪 |
|
Sqoop |
|
呼呼 |
|
MAPR M7版,它引入了表存储在MAPR-FS,可在MAPR 3.0及更高版本。将访问表数据MAPR-FS节点必须具有MAPR HBase的客户端安装。包的名称是MAPR-HBase的-
,其中
匹配的HBase的API版本支持,如0.92.2和0.94.5。这个版本对使用的MAPR-FS文件服务器底层的存储格式没有影响。
如果您对HBase的API的特定版本编写的现有应用程序,使用相同的版本安装MAPR HBase的客户端软件包。如果您正在开发新的应用程序使用MAPR表完全是用MAPR HBase的客户端可用的最高版本。
根据您的集群计划的哪些服务在其上运行的节点,使用的命令本节以安装相应的软件包为每个节点。
您可以使用的软件包管理器,如百胜
或apt-get的
,它会自动解析并安装软件包的依赖,提供必要的库已经被正确设置。或者,您也可以使用RPM
或dpkg的
命令来手动安装,你已经下载并解压到本地目录文件包。
从包文件安装时,您必须手动为了确保安装成功,预先安装任何依赖包。请注意,大多数MAPR包依赖的包MAPR核心
。同样,许多Hadoop的生态系统组成部分有内部相关性,如HBase的内部
包MAPR-HBase的-regionserver
。见包和依赖关系MAPR软件的详细信息。
在下面的命令,替换
在包的文件名 找到确切的版本字符串。例如,对于版本3.0.2,替代MAPR-核-
与MAPR核-3.0.2.GA-1.x86_64.rpm
。
为了验证该软件已安装成功,请检查/选择/ MAPR /角色的
每个节点上的目录。该软件安装在目录的/ opt / MAPR
和一个文件中创建的/ opt / MAPR /角色
对每一个安装成功的服务。检查这个目录来验证安装的节点。例如:
设置JAVA_HOME
中的/ opt / MAPR / conf /中env.sh
。这个变量必须被设置在启动动物园管理员或监狱长之前。
如在说明设置其它环境变量MAPR 环境变量部分。
configure.sh
脚本脚本configure.sh
配置一个节点是一个MAPR集群的一部分,或在集群中的现有节点上运行的修改服务。该脚本创建(或更新)的节点上运行与集群相关的配置文件和服务。在执行此步骤前,请确保您有CLDB的主机名和动物园管理员节点的列表。您可以选择性地指定CLDB和动物园管理员节点的端口也是如此。如果没有指定,默认的端口是:
该脚本configure.sh
有一个可选的集群名称和日志文件,并CLDB和ZooKeeper的主机名或IP地址(以及可选端口)的逗号分隔的列表,使用下面的语法:
/选择/ MAPR /服务器/ configure.sh-C[: ] [, [: ] ...]-Z [: ] [,<主机> [: ] ...] [-L 中] [-N ]
例如:
disksetup
脚本如果MAPR-文件服务器
安装在此节点上,请使用以下过程来格式化磁盘和分区供MAPR使用。
该disksetup
脚本用于格式化磁盘的MAPR群集使用。创建一个文本文件的/ tmp / disks.txt
列出磁盘和分区的节点上使用的MAPR。每行列出一个单一的磁盘或一个磁盘上的所有适用的分区。当在一行上列出多个分区,用空格分开。例如:
后来,当你运行disksetup
格式化磁盘,请指定disks.txt
文件。例如:
如果你重新使用已在另一个群集以前用过的一个节点,它格式化磁盘从旧集群中删除数据的任何痕迹是很重要的。
此过程假定你有空闲,卸载物理分区或硬盘供MAPR使用。如果您不能确定,请阅读 设置磁盘的MAPR。当你成功地在每个节点上安装MAPR软件会根据您的群集的计划,你就可以带出集群。