大数据架构：Lambda和Kappa架构对比

• Lambda架构

如下图是Lambda的架构

 

 

Nathan Marz基于在Backtype和Twitter从事分布式数据处理系统工作的经验，提出了 Lambda体系结构（LA）一词，意味着通用，可扩展且容错的数据处理体系。

LA旨在满足对硬件故障和人为错误具体容错能力的健壮性的需求，该系统能够处理各种工作负载和用例，并且需要低延迟的读取和更新。生成的系统应该是线性可伸缩的，

并且应该向外扩展而不是向上扩展。

从高度的角度来看是如上图的：

1.进入系统的所有数据都分排到批处理和实时层处理；

2.批处理层有两个功能：（1）管理主数据集（不变的，仅追加的原始数据集），以及（2）预计算批处理视图；

3.服务层为批处理视图建立索引，以便可以低延迟，即席方式查询它们；

4.实时补偿了服务更新的高延迟，并且仅处理最近的数据；

5.通过合并批处理视图和实时视图的结果，可以解决任何传入的查询；

 

• Kappa 架构

Kappa体系结构是一种软件体系结构模式。Kappa 架构系统中的规范数据存储不是使用类SQL的关系数据库或者Cassandra这样的key-value存储，而是仅附加不可变的日志。

数据经过流过计算体系，并存储给其他服务使用。

Kappa架构师Lambda架构的简化。Kappa体系结构系统类似于Lambda体系