优化多核服务器集群中MapReduce的性能和可扩展性

概要
本演讲介绍的框架，可以改进MapReduce在多核服务器或集群中的性能和可扩展性。为了达到优化目的，我们设计并实现了Ostrich，它特别为多核系统优化。我们将Ostrich与Hadoop进一步整合，形成了一个层次化的MapReduce系统，称为Chadoop。Chadoop的层次化MapReduce模型，让MapReduce应用能够在集群层面和单节点层面享有本地化和并行化的好处。同时，它还集成了内存缓存机制，可以重用只读数据。由于上述优化，在小规模的多核集群中，在多个性能测试指标的表现上，Chadoop比Hadoop的性能超出1.3倍到3.5倍。

个人简介

陈海波/CHEN Haibo，博士，复旦大学并行处理研究所讲师， 2009年1月于复旦大学获得计算机系统结构专业博士，主要研究方向为系统结构，操作系统与系统虚拟化。博士论文获得2009年CCF优秀博士论文与上海市优秀博士论文。 担任APSys’2011的共同主席与USENIX ATC’12等会议的程序委员会委员。在主要国际会议与期刊如SOSP, USENIX, Eurosys, ISCA, MICRO, ICSE, OSDI, PACT, DSN, VEE与IEEE TSE等接受或发表20余篇研究论文，并获得第36届国际并行处理大会(ICPP’07)唯一的最佳论文奖。