关于数据湖 数据仓库和湖仓一体

1、数据仓库：传统的数仓ETL建模和分析处理，一般存储良好建模后的数据，主要是sql计算
2、数据湖：基于原始的半结构化、非结构化数据，使用分布式的计算任务进行分析和处理，不是基于良好建模的数仓，强调数据的动态模型、原始的数据和并行的计算框架
3、湖仓一体：数据就是一份，底层是企业的全部数据，包括结构化、半结构化、非结构化，中间通过统一的加工处理直接支撑上层所有仓的应用(BI、报表以及湖的应用)，不再需要ETL连通（原来是存储2份数据，1份是原始的，1份是ETL之后的），数据能够直接用来进行分析。

4、胡仓一体技术实现方案：
1》Snowflake（分布式并行计算）云原生特性、计算存储分离架构、强事务特性、完整SQL标准支持、高性能并行执行能力。
2》Delta Lake（Databricks公司，在hdfs上面添加ACID的支持），可以选择开源的hudi---实现了ACID的语义，增强了湖的能力。hive定位是olap，更新和插入慢，hudi用spark的任务，实现了upsert和事务，是hive的增强。

5、技术选型：hdfs spark hudi