[置顶] 【Apache Samza 系列】实时流数据处理框架Samza中文教程 (一)-- 介绍

What is Samza?

Apache Samza 是一个分布式流处理框架。它使用 Apache Kafka 用于消息发送,采用 Apache Hadoop YARN 来提供容错,处理器隔离,安全性和资源管理。专用于实时数据的处理,非常像Twitter的流处理系统Storm。

近日,从Apache官方博客中得知,开源的分布式流处理框架Samza历经18个月的孵化期后终于升级成为Apache的顶级项目。Samza由LinkedIn于2013年9月开源并作为孵化项目贡献给Apache。

Samza非常适用于实时流数据处理的业务(如同Apache Storm),如数据跟踪、日志服务、实时服务等应用,它能够帮助开发者进行高速消息处理,同时还具有良好的容错能力。在Samza流数据处理过程中,每个Kafka集群都与一个能运行Yarn的集群相连并处理Samza作业。Samza的一个简单处理过程如下图所示:

[置顶] 【Apache Samza 系列】实时流数据处理框架Samza中文教程 (一)-- 介绍_第1张图片

Samza具有以下特性:

  • 简单的API:Samza提供了一个简单基于回调且兼容MapReduce的消息处理API
  • 状态管理:Samza提供了一个基于LevelDB的Key/Value数据库来存储历史数据,从而实现了有状态的消息管理
  • 容错处理:每当集群中的一台机器发生故障时,YARN将会透明地将相关任务迁移到其他机器上
  • 持久性:Samza使用Kafka保证消息的有序处理,并能够持久化到分区,不存在发生消息的丢失的可能
  • 可扩展性:Samza在每个层结构都是可分区和分布式的,Kafka提供了有序、可分区、可追加、容错的流;YARN提供了一个分布式、供Samza运行的容器环境。
  • 可插拔/开箱即用:Samza提供了一个可插拔特性的API,该API使得Samza不仅能够使用Kafka和YARN,还能够使用其他的消息系统和执行环境。
  • 资源隔离:通过使用YARN实现了对Hadoop安全模型和资源隔离的支持

官方示例

下图是Samza官方给的一例子,根据Member ID分组,计算页面访问次数。入口消息分别来自Machine1、2,出口是Machine3,我们可以这样理解,消息分散在不同的消息系统中(Kafka),Samza从不同的Kafka中读取topic,在将topic进行处理后,发送到Machine3,这里不做过多分解,具体可以参照官方文档。

[置顶] 【Apache Samza 系列】实时流数据处理框架Samza中文教程 (一)-- 介绍_第2张图片
导出示例项目hello samza尝试使用samza,阅读背景页面了解关于更多关于samza的信息。
官网链接:http://samza.apache.org/

你可能感兴趣的:(流计算,实时计算,Samza)