国产唯一开源湖仓框架LakeSoul 2.0 重磅升级:支持快照回滚、Flink和Hive对接

首先,附上 Github 链接LakeSoul:https://github.com/meta-soul/LakeSoul,可搜索公众号元灵数智,在底部菜单了解我们 - 用户交流获取官方技术交流群二维码,进群与业内大佬进行技术交流。

DMetaSoul团队于7月初发布了LakeSoul 2.0版本,对1.0版本进行了多方面升级优化,提高了自身架构设计的灵活性,也更好地适应客户未来业务高速发展的需要。

2.0版本研发升级的主要目标:

  1. 多计算引擎(Flink、Presto等)支持,重构了Catalog,与Spark解耦;

  2. 使用Postgres SQL协议支持更高要求的事务性机制,替换Cassandra SQL,同时减少企业Cassandra集群管理成本;

  3. 支持更多业务生产当中的功能诉求,如版本快照、回滚、Hive对接等;

  4. 强化生态系统建设,完善上下游链路设计;

团队研发经历了Catalog重构、Spark与Catalog对接改造、新的用户特性开发以及Flink计算引擎支持几个阶段,从而实现设计目标,下面分别介绍各自的功能点。

1.Catalog重构

1.1 支持Postgres SQL协议

在2.0版本中,全面使用Postgres SQL(PG)协议实现元数据与数据库交互,使用原因在https://github.com/meta-soul/LakeSoul/issues/23提到。一方面,Cassandra原生不支持单表多分区事务机制;另一方面,Cassandra集群管理维护成本较高,而Postgres SQL协议在企业使用广泛,维护成本较低。在使用时需要配置PG相关参数,参考https://github.com/meta-soul/LakeSoul/wiki/02.-QuickStart

1.2 独立的C<

你可能感兴趣的:(大数据,数据库,spark)