Hadoop的升级和重新设计其他编程范式

阿伦穆尔蒂，雅虎Hadoop的地图，降低开发团队负责人最近宣布，并提出了重新设计核心的地图架构Hadoop的减少，以便更容易升级，大集群，快速恢复，并支持除了编程范式到地图，减少。作者对地图的减少Hadoop的核心重新设计分割成一个资源管理器，支持多种模式的集群计算引擎，使得地图的减少用户库，允许一个组织运行图，减少相同的代码的多个版本群集。新的设计是非常相似的开源Mesos集群管理项目 - 包括雅虎和Mesos上的差异和机会发表意见。Silverlight的4更新提高了网络延迟，内存使用情况

新方法的主要好处是：

    *可扩展性：支持16芯6000机集群，48 GB的RAM和48 TB的磁盘，100K的并发任务，和10K兼职
    *供货情况：目前工作Tracker是一个单点故障，要求停止和升级，提升整个集群
    *敏捷：新的设计使得地图的减少用户库，让正在运行的作业，要求在同一个群集的不同版本
    *较低的延迟：新的设计应允许更快的响应，尤其是规模较小的任务，
    *更好地利用：一个更为复杂的资源调度模型可以减少浪费资源，不争
    *替代编程模型：穆尔蒂指出，有一个为其他模式，如在雅虎的MPI，很多需求

这个重新设计的核心元素是分裂成一个通用的集群资源管理系统的责任，并为地图的减少，或任何其他单独的应用程序编程模型的主人。这将替换作业跟踪和追踪任务。资源管理系统由以下群集范围控制器：女装品牌有哪些

    *一个ResourceManager，可实现集群范围内，如内存，CPU，磁盘，网络等资源调度
    *一个Scheduler插件，它可以实现的ResourceManager不同的政策（类似于目前的调度程序的API，但使用不同的接口，需要新的实现）
    *每一个ApplicationMaster应用程序（如地图，减少编程）的请求的资源，跟踪进度，处理故障，并能保持状态有关计算