数据治理的湖仓一体架构

1.2 数据仓库、数据湖和湖仓一体的差异数据仓库、数据湖和湖仓一体之间的差异（见表1）主要体现在以下几点。（1）数据类型：数据仓库内部高度结构化且多为关系型数据库，一般只支持在入仓前完成处理工作的结构化数据存储；数据湖可包容开放的数据类型，但其主要存储原始格式的数据，数据加工处理属于额外工作；湖仓一体存储所有类型的已处理和原格式数据。 （2）采集过程：数据仓库的写时模式需在数据入仓前预先建模，并按照既定的ETL模式，以专属格式导入；数据湖的读时模式在数据入湖后按需定义架构，湖中数据以开放格式存在以适应多变的业务需求；湖仓一体同时支持预定义数据和开放数据导入以及需求导向的数据加工转换。 （3）访问方式：数据仓库内的数据访问以SQL（Structured Query Language）为主，用户可以获取具有专属格式的数据；数据湖和湖仓一体配置大量开放API，可支持对数据的直接读取，读取方式包括SQL、 R、Python等语言，湖仓一体同时支持原格式和处理后数据的访问。 （4）可靠性和安全性：数据仓库发展较为成熟，基于其高度结构化的管理能力，可实现高质量和安全性的数据存储；数据湖内部数据具有多源异构性，尚未形成有效治理策略，易导致数据沼泽，这也是其当前面临的最大挑战；湖仓一体在湖存储机制上添加数据仓库管理功能和数据安全保障机制，可显著提高数据可靠性和安全性。（5）适用场景：数据仓库适用于BI（Business Intelligence）、SQL应用和报告等；数据湖适用于数据科学和机器学习，二者仅支持有限应用场景；湖仓一体可同时满足SQL分析需求和数据科学、机器学习等高级分析需求，且支持直接在原始数据上应用各类分析工具，以及对流数据的持续处理和实时分析。