【spark系列5】spark 3.0.1集成delta 0.7.0原理解析--delta如何进行DDL DML操作以及Catalog plugin API
前提本文基于spark3.0.1delta0.7.0我们都知道delta.io是一个给数据湖提供可靠性的开源存储层的软件,关于他的用处,可以参考DeltaLake,让你从复杂的Lambda架构中解放出来,上篇文章我们分析了delta是如何自定义自己的sql,这篇文章我们分析一下delta数据是如何基于CatalogpluginAPI进行DDLDMLsql操作的(spark3.x以前是不支持的)分析