Apache Paimon 基础概念











Snapshot

快照(Snapshot)是在某个时间点上捕捉表状态的方式。用户可以通过最新的快照访问表的最新数据。通过时间回溯,用户还可以通过较早的快照访问表的先前状态。

private static final String FIELD_VERSION = "version";
private static final String FIELD_ID = "id";
private static final String FIELD_SCHEMA_ID = "schemaId";
private static final String FIELD_BASE_MANIFEST_LIST = "baseManifestList";
private static final String FIELD_DELTA_MANIFEST_LIST = "deltaManifestList";
private static final String FIELD_CHANGELOG_MANIFEST_LIST = "changelogManifestList";
private static final String FIELD_INDEX_MANIFEST = "indexManifest";
private static final String FIELD_COMMIT_USER = "commitUser";
private static final String FIELD_COMMIT_IDENTIFIER = "commitIdentifier";
private static final String FIELD_COMMIT_KIND = "commitKind";
private static final String FIELD_TIME_MILLIS = "timeMillis";
private static final String FIELD_LOG_OFFSETS = "logOffsets";
private static final String FIELD_TOTAL_RECORD_COUNT = "totalRecordCount";
private static final String FIELD_DELTA_RECORD_COUNT = "deltaRecordCount";
private static final String FIELD_CHANGELOG_RECORD_COUNT = "changelogRecordCount";
private static final String FIELD_WATERMARK = "watermark";

Partition

Paimon 采用与 Apache Hive 相同的分区概念来分离数据。分区是根据特定列(如日期、城市和部门)的值将表划分成相关部分的可选方式。每个表可以有一个或多个分区键来标识特定的分区。通过分区,用户可以高效地操作表中的一部分记录,请参考文档如何划分为多个分区。

如果定义了主键,分区键必须是主键的子集。

Bucket

未分区的表,或者分区表中的分区,被细分为 bucket,以为数据提供额外的结构,以便进行更高效的查询。

bucket 的范围由记录中一个或多个列的哈希值确定。用户可以通过提供存储桶键选项来指定bucket 列。如果未指定 bucket 键选项,则主键(如果定义)或完整记录将被用作 bucket 键。

bucket 是读写的最小存储单元,因此 bucket 的数量限制了最大的处理并行性。然而,这个数量不应该过大,因为会导致大量的小文件和低读取性能。一般来说,每个 bucket 中推荐的数据大小约为1GB。

请参阅资料了解文件如何被划分为 bucket。此外,如果您想在创建表后调整 bucket 的数量,请参阅重新调整 bucket。

一致性保证

Paimon 的写操作使用两阶段提交协议来原子地将一批记录提交到表中,每次提交最多会产生两个快照。

对于同时修改同一表的任意两个写入者,只要它们不修改同一个存储桶,它们的提交可以并行进行。如果它们修改同一个存储桶,只能保证快照隔离性。也就是说,最终的表状态可能是两个提交的混合,但不会丢失任何更改。

Apache Paimon 介绍

Apache Paimon 基础概念_第1张图片

你可能感兴趣的:(apache)