Lambda 架构 vs Kappa 架构

大数据处理架构详解:Lambda架构、Kappa架构、流批一体、Dataflow模型、实时数仓

https://www.cnblogs.com/robots2/p/17769376.html

大数据架构设计(四十五) - 知乎

浅析Lambda架构 - 简书

Lambda 架构 vs Kappa 架构

Lambda架构和Kappa架构的区别可以通过下表进行对比说明:

对比项 Lambda架构 Kappa架构
组成 批处理层
速度层
服务层
流式处理层
服务层
数据处理方式 批处理系统处理历史数据
流式系统处理实时数据
仅用流式系统处理全部数据
系统复杂度 较高,需要开发和维护两个系统 较低,只需要一个流式系统
延迟一致性 存在,实时视图和批处理视图有延迟差异 更好,没有批处理系统
数据冗余 存在,需要重播日志到实时系统 较少,无需重播日志
历史数据处理 批处理系统可进行复杂历史分析 相对复杂,只有流式系统

总结来说:

Lambda架构通过批处理层和速度层的组合,兼顾了低延迟和复杂分析,但系统较复杂,存在数据冗余延迟不一致问题。

Kappa架构只通过流式系统实现所有处理,简化了架构,但历史数据分析相对复杂,需要流式系统保证精确一次语义。

两者都有各自的优缺点,需要根据具体场景进行技术选型和设计权衡。

你可能感兴趣的:(架构)