Spark，Storm和实时分析

随着过去几年的信息量爆炸式增长，大数据分析一直在进步。Hadoop 绝对是首选大数据分析和计算平台。随着数据卷，多样性和速度的增长，作为批处理框架的Hadoop已不能满足实时分析的要求。

Apache Spark背后公司，Databricks最近提出追加1400万美元加速Spark和Shark的研发。Spark是用Scala写的大规模数据处理引擎，而Shark是Spark的Hive兼容变体。

同Spark类似，通过提供事件处理和分布式计算能力，Storm 目标也是改变Hadoop批处理特性。通过在有向图中设计拓扑变换，架构师可以完成任意的复杂计算，一次一个变换。

Nathan Marz 利用一线的经验，提出了lambda架构模式来解决这个基础架构问题。Lambda架构的体系结构包括一个服务层，它会从批处理层获取经常更新的信息，一个速度层，用于计算实时分析来弥补缓慢的批处理层。基本上，Hadoop是以批进行计算分析，在批次之间的运行，速度层通过以流的形式检查事件来增量更新指标。

Spark和Storm在Hadoop集群中进行操作，访问Hadoop存储。Storm-YARN是Storm和Hadoop融合体的雅虎开源实现。Spark为Hadoop提供本地集成。Hadoop集成是利用YARN (NextGen MapReduce)获得的。整合实时分析和基于Hadoop的系统，允许通过计算弹性更好地利用集群资源，在同一个集群意味着网络传输量最小。

在商业支持方面，Cloudera已经宣布支持Spark和CDH （Cloudera包含Apache Hadoop的版本）。在2014上半年， hortonworks计划在HDP （hortonworks数据平台）整合Apache Storm。

查看英文原文：Spark, Storm and Real Time Analytics

感谢张龙对本文的审校。

给InfoQ中文站投稿或者参与内容翻译工作，请邮件至[email protected]。也欢迎大家通过新浪微博（@InfoQ）或者腾讯微博（@InfoQ）关注我们，并与我们的编辑和其他读者朋友交流。