Apache Paimon学习记录

基本都是在官网的学习,简单记录一下其中的核心特点

Apache Paimon 官网

Apache Paimon | Apache Paimon

根据官网介绍去快速了解 paimon 是用来设计做什么,可以做什么,对比与其他数据湖有什么特点,如何使用

Paimon

特点

前身是Flink table Store,很多文档和特性都是一样的

支持批流一体,主要用来做实时数据湖

Paimon 并使用 LSM 树结构来支持大量数据更新和高性能查询

和Flink CDC整合,实时入湖更简单

支持 mysql 等直接同步到 paimon,且支持表结构变更

Paimon 的变更日志还可以存储到外部日志系统(例如 Kafka)中或从外部日志系统(例如 Kafka)中消费

支持 hive presto spark flink 等多种计算引擎

支持hdfs oss s3等多种储存

基本概念和存储特点

Basic Concepts | Apache Paimon

你可能感兴趣的:(数据质量&批流数仓,大数据文章迁移,数据仓库,数据湖,实时数仓,paimon)