大数据处理系统的架构

大数据处理系统的架构介绍

Lamdba架构

Lambda 架构是一种用于处理大规模数据的设计模式，旨在结合批处理和实时处理，以应对对大量数据进行高效处理的需求。Lambda 架构的核心思想是将数据处理流程分为批处理层和实时处理层，并将它们整合在一起，以获得高可扩展性和灵活性。

Lambda 架构的主要组成部分包括：

1. 批处理层（Batch Layer）：

   • 存储： 使用分布式存储系统（如 Apache Hadoop HDFS）存储原始数据。
   • 处理： 批处理层采用批处理引擎（如 Apache MapReduce、Apache Spark）对原始数据进行离线处理和分析。
   • 目的： 生成离线批处理视图，以支持全面的数据分析和查询。

2. 实时处理层（Speed Layer）：

   • 存储： 使用分布式实时数据库（如 Apache HBase、Cassandra）存储实时数据流。
   • 处理： 实时处理层采用流处理引擎（如 Apache Storm、Apache Flink）对实时数据进行流式处理。
   • 目的： 提供低延迟的、近实时的数据处理，以支持实时查询和分析。

3. 服务层（Serving Layer）：

   • 存储： 使用分布式数据库或索引（如 Apache HBase、Cassandra、Elasticsearch）存储批处理层和实时处理层的计算结果。
   • 处理： 在服务层上建立查询服务，以支持用户查询和应用程序查询。
   • 目的： 提供查询接口，使用户能够检索批处理和实时处理的结果。

Lambda 架构的优势包括：

• 综合处理： 结合了批处理和实时处理，可以满足广泛的数据处理需求，从离线分析到实时查询。
• 容错性： 由于数据处理被分为两个层次，即使在实时层发生故障时，批处理层的结果仍然可用，反之亦然。
• 灵活性： 可以选择不同的技术栈用于批处理和实时处理，以适应不同的需求。

然而，Lambda 架构也面临一些挑战，如系统复杂性、维护成本以及对两个处理层之间一致性的管理。为了解决一致性问题，有时候会使用一个合并层（Merge Layer）来合并批处理和实时处理的结果。此外，近年来出现了一些替代模式，如 Kappa 架构，它更加强调使用流式处理引擎来处理所有数据。选择 Lambda 架构还是其他模式通常取决于具体的需求和系统设计的目标。

Lambda 架构的三个层次包括批处理层、加速层（实时处理层）和服务层。这三个层次协同工作，以实现全面、实时、低延迟的大数据处理和查询。以下是对每个层次的详细描述：

1. 批处理层（Batch Layer）：

• 存储： 批处理层使用分布式存储系统（如 Apache Hadoop HDFS）来存储原始数据。这些数据以不可变（immutable）的方式存储，新的批处理任务生成的结果会追加到存储系统中。

• 处理： 批处理层采用批处理引擎（如 Apache MapReduce、Apache Spark）来执行离线的、全面的数据处理和分析。这些任务可以包括数据清洗、转换、计算聚合指标等。由于数据在这一层是不可变的，每次处理都会生成新的数据集，而不会修改原始数据。

• 目的： 主要目标是生成离线批处理视图，这些视图包含经过处理和计算的数据结果，以支持全面的数据分析和查询。由于处理是离线的，可能需要一定的时间间隔来生成和更新这些批处理视图。

2. 加速层（实时处理层，Speed Layer）：

• 存储： 加速层使用分布式实时数据库（如 Apache HBase、Cassandra）来存储实时数据流。这些存储系统具有低延迟、高吞吐量的特性，支持实时写入和读取。

• 处理： 加速层采用流处理引擎（如 Apache Storm、Apache Flink）来处理实时数据流。流处理引擎允许在数据到达时立即进行处理和计算，以提供低延迟的实时数据处理。

• 目的： 提供低延迟的、近实时的数据处理和计算。加速层的结果可以用于实时查询、监控、仪表盘等实时应用场景。由于流处理是实时的，因此可以更快地响应数据变化。

3. 服务层（Serving Layer）：

• 存储： 服务层使用分布式数据库或索引（如 Apache HBase、Cassandra、Elasticsearch）存储批处理层和实时处理层的计算结果。这些存储系统通常用于支持快速查询和检索。

• 处理： 在服务层上建立查询服务，以支持用户查询和应用程序查询。查询服务可以通过接口提供数据查询功能，并从批处理层和实时处理层的结果中检索数据。

• 目的： 提供查询接口，使用户能够检索批处理和实时处理的结果。服务层充当用户与 Lambda 架构的交互点，为用户提供全面的数据查询能力。