初识Mapr(一)——起点

从这里开始
跳转到元数据的结束 转至元数据起始

该MAPR分布的Apache Hadoop是这个星球上最简单,最可靠和最快速的Hadoop发行版。这是唯一的Hadoop发行版,它允许直接数据输入和输出通过MAPR直接访问NFS™与实时分析,并率先在各级提供真正的高可用性(HA)。MAPR介绍逻辑卷的Hadoop。卷是一种分组数据,并在整个数据集的应用策略。MAPR提供硬件状态和控制与MAPR控制系统,全面的用户界面,包括一个热图™一目了然显示整个集群的运行状况。

在本节中,你可以了解MAPR的独特功能以及它们如何提供最高性能,最低成本的Hadoop提供。

要了解更多有关MAPR,包括有关MAPR信息的合作伙伴,请参阅以下章节:

  • MAPR提供完整的Hadoop的兼容性
  • 与MAPR控制系统直观,功能强大的集群管理
  • 可靠性,容错,以及数据恢复与MAPR
  • 高性能的Hadoop集群与MAPR直接洗牌
  • 入门

MAPR提供完整的Hadoop的兼容性

MAPR是一个完整的Hadoop发行版。
有关更多信息,请参见版本2.0发行说明。

与MAPR控制系统直观,功能强大的集群管理

该MAPR控制系统的web应用提供了强大的硬件洞察到该节点的水平,以及用户,卷,配额,镜像和快照的完全控制。筛选警报和通知提供了关于硬件故障或其他需要注意的情况立即警告,允许集群管理员快速发现和解决问题。

MAPR让你控制数据访问和位置,使多个并发Hadoop作业可以安全地共享集群。

供应资源也很简单。您可以轻松地创建一个卷在点击几下一个项目或部门。MAPR集成NIS和LDAP,使其易于管理用户和组。该MAPR控制系统提供了一个灵活的基于Web的用户界面群集管理。从MAPR控制系统,您可以指定用户或组配额,限制数据的用户或组可写金额,或限制卷的大小。

设置恢复时间目标(RTO)和恢复点目标(RPO)的数据点集是一个简单的事情调度 快照和镜像卷通过MAPR控制系统。您可以设置读取,并通过写在卷上的权限直接NFS或使用的hadoop fs的命令,并通过卷的访问控制提供行政代表团列表(ACL)。通过MAPR控制系统可以控制谁可以安装,卸载,快照或镜像卷。

因为MAPR是一个完整的Hadoop发行版,你可以运行你的Hadoop作业你总是有办法。

无限制写入到簇与MAPR直接访问NFS

该MAPR NFS服务,您可以通过访问许可MAPR集群上的数据的NFS协议。你通过NFS上安装群集多种客户端。

集群与M3的许可证可以在一个节点上运行MAPR NFS,使您能够安装群集作为一个标准的POSIX兼容的文件系统。一旦您的群集安装在NFS上,你可以使用标准的shell脚本来读取和写入集群中的实时数据。

您可以通过升级到M5的许可级别上运行多个NFS服务器节点。您可以使用虚拟IP地址(VIP)提供透明故障切换的NFS与多个NFS服务器。您也可以在每个节点在集群中的自我安装到NFS来使你的所有集群的数据可以从每个节点。这些NFS自我坐骑使您能够运行标准的shell脚本直接与集群的Hadoop的数据。

数据保护,可用性和容量管理绩效

用卷,可以控制对数据的访问,设置复制因子,并将其放置在特定的机架或节点的性能或数据保护特定的数据集。卷控制数据访问特​​定的用户或组与与现有的LDAP和NIS目录集成的Linux风格的权限。使用量配额,以防止数据溢出过量消耗的存储容量。

其中一个量的概念中最强大的方面是它的体积提供数据保护方式:

  • 为了使点即时恢复和备份方便,体积有手动和基于策略的快照功能。
  • 对于真正的业务连续性,您可以手动或自动镜像卷,并将它们群集或数据中心之间同步,可以轻松实现灾难恢复。
  • 您可以设置音量读/写权限和委派管理功能来控制数据访问。

您可以出口量与M​​APR直接访问NFS与医管局,允许数据Hadoop的读写操作直接,而不需要临时存储或日志收集。多个NFS节点提供集群的相同的观点无论在哪里,客户端连接的。

实时Hadoop的分析:直观和强大的性能指标

新的2.0版本中,MAPR招聘度量服务提供了深入的访问群集的性能统计数据,并且在其上运行的作业。随着MAPR工作指标,你可以检查资源使用趋势,诊断不寻常的节点行为,或检查的变化在你的作业配置如何影响作业的执行。

该MAPR节点度量的服务,也有新的2.0版本中,提供了关于您的集群中特定节点的活动和资源使用情况的详细信息。

关键MAPR服务收集信息群集资源利用率和活动,您可以直接写入一个文件或集成到神经节的第三方工具。

扩大你的能力与第三方解决方案

MAPR已合作与Datameer,其中规定,对MAPR分布为Apache Hadoop的运行最好的自助服务商业智能平台。您的下载MAPR包括Datameer分析解决方案(DAS),它提供了电子表格样式的分析,ETL和数据可视化功能的30天试用版。

欲了解更多信息

  • 阅读关于置备应用
  • 了解直接访问NFS
  • 退房Datameer

可靠性,容错,以及数据恢复与MAPR

随着集群增长到数千个节点,硬件故障是不可避免的,即使在发生的最可靠的机器。该MAPR分布的Hadoop已设计从地上爬起来,无缝容忍硬件故障。

MAPR是第一个Hadoop的结构的研究在各级,包括分布式NameNode的HA™一个MAPR提供真正的高可用性(HA)和故障转移。如果集群中的一个磁盘或节点出现故障时,MAPR自动重新启动另一个节点上的任何受影响的进程,而无需行政干预。医管局JobTracker的确保由一个节点或磁盘故障而中断的任何任务都另TaskTracker必须节点上重新启动。在任何故障的情况下,作业的完成了任务状态被保留,没有任务都将丢失。其他数据的可靠性,在电线上的每一个数据被压缩和CRC检查。

欲了解更多信息:

  • 看一看在热图
  • 了解卷,快照和镜像
  • 探索数据保护方案
  • 阅读有关工作指标和节点度量

高性能的Hadoop集群与MAPR直接洗牌

的MAPR分布的Hadoop实现高达任何其他Hadoop发行的3倍的性能,并且可以减少一半的设备成本。

MAPR直接随机使用分布式NameNode的大幅提高降低相性能。不同于使用本地文件系统的洗牌和HTTP传输洗牌数据的Hadoop发行版,MAPR shuffle的数据是可读直接从网络上的任何地方。MAPR存储数据与无锁定寄存服务™,分片系统,无需争用,并从数据传输和检索的开销。自动,透明的客户端压缩降低了网络开销,并减少占用磁盘上,而直接块设备的I / O提供了吞吐量的硬件速度,无需额外的开销。作为一个额外的性能提升,与MAPR实时Hadoop的,你可以读文件,他们仍然被写入时。

MAPR给你的方式来调整你的集群的性能。使用反射镜,可以负载平衡的高度访问的数据读取,减轻瓶颈并提高读取带宽给多个用户。集群中的所有节点,如果需要的话 - - 你可以在许多节点上运行MAPR直接访问NFS和负载均衡的读取和整个集群写道。体积拓扑允许你把资源密集型Hadoop作业和高活性数据上最快的计算机集群中可以帮助你进一步调整性能。

欲了解更多信息:

  • 阅读关于调整您的MAPR安装
  • 阅读关于计提坏账准备的性能

初识Mapr(一)——起点_第1张图片

入门

现在,你知道这是怎么MAPR分布的Apache Hadoop的工作特点,采取快速浏览自己看看他们如何能为你工作:

  • 快速入门-试驾MAPR在虚拟机 -试用单节点集群已经准备好推出,开箱即用的! 
  • 安装指南 -了解如何建立一个生产集群,或大或小
  • 开发指南 -了解更多关于您可以用MAPR集群做什么
  • 管理指南 -了解如何配置和调整对业绩的MAPR集群                        

你可能感兴趣的:(Mapr——初探)