Nessie 像git一样管理你的数据

Nessie可以管理像git 分支，合并数据源等一些特性；

• 受git的版本管理启发
• 跨表事务和可见性
• 支持hive,spark,AWS Athena,dremio，管理其数据湖的数据
• 深度和Apache Iceberg, Delta Lake and Hive 合作
• 可以用docker image，AWS lamada 以及github 源码运行

nessie是一个基于对象存储的服务和Library，你能维护多版本的数据，以及利用gi t一样的功能去管理数据湖的Branch和TAG；Nessie通过一下的表格式去进行版本管理的特性；

• apache Iceberg table
• Delta Lake tables
• Hive metastore table
• SQL views

基本概念

Nessie深受GIT启发；主要的概念大都是来源于GIT的概念；在很多情况下，你能够简单的替换Nessie中的一些概念；Nessie主要概念包括：

• commit：在某个时间点，所有表的一致性快照
• Branch：用户将commits增加到的一个引用位置
• Tag: 一次特定提交指向
• Hash: 一次特定提交生成的Hash字符串

除了上述一些概念，Nessie从一个main单一分支开始，并且指向特定的开始时间；用户可以马上向表中增加分支，如下伪代码：

$ create t1
...
$ insert 2 records into t1
...
$ create t2
...
$ insert 2 records into t2
...

一个用户可以使用Nessie的客户端去看主分支上所有的分支；你可以看到每次提交自动留下的操作记录；

$ nessie log
hash4    t2 data added 
hash3    t2 created
hash2    t1 data added
hash1    t1 created

一个用户可以在某个特定的时间t创建新的Tag; 在此之后，用户能够继续改变表，但是在t时刻的数据版本将在Nessie中进行维护；

$ nessie tag mytag hash4

$ insert records into t1

$ select count(*) from t1 join t2
.. record 1 ..
.. record 2 ..
.. record 3 ..
.. 3 records ..

$ select count(*) from t1@mytag join t2@mytag
.. record 1 ..
.. record 2 ..
.. only 2 records ..

数据和元数据

Nessie 不需要拷贝你当下的数据；然后，他会按照你的数据集将文件进行隔离；不管你使用的是spark，Hive，或者其他的工具，你定义的每个变化操作，增加，删除你定义的数据源，都会改变你定义的表。Nessie会在每个时间点跟踪哪些文件与表相关，然后根据你的需要调用这些文件；

扩展性和性能

Nessie 用来构建大型的数据仓库；Nessie 支持百万级别的表和每秒一千次的提交；因为Nessie构建在Iceberg和delta Lake之上，每个表中有百万级别的文件；对此，Nessie可以支持比当今最大数仓大几个数量级的数据仓库；这些可能性大多都依赖于Nessie中的 表元数据的事务管理的隔离；

技术上

Nessie 可以多种方式部署，同时他由多个基本的Nessie service 构成；同时它通过REST APIS和简单的UI界面进行暴露；这些服务像多个包一些去暴露Nessie的版本管理的能力

TODO

Nessie can be deployed in multiple ways and is composed primarily of the Nessie service, which exposes a set of REST APIs and a simple browser UI. This service works with multiple libraries to expose Nessie’s version control capabilities to common data management technologies.

Nessie was built as a Cloud native technology and is designed to be highly scalable, performant and resilient. Built on Java and leveraging Quarkus, it is compiled to a GraalVM native image that starts in less than 20ms. This makes Nessie work very well in Docker and FaaS environments. Nessie has a pluggable storage backend and comes pre-packaged with support for DynamoDB and local storage.

参考链接：

project nessie Introduction