湖仓一体解决方案

• 数据湖产生的背景

由于云技术的推动，企业对于跨公司、跨行业、跨领域的综合型数据的需求日趋明显，不同类型、格式数据之间的关联性碰撞越来越激烈，刺激着数据技术的创新发展，逐渐形成了大数据生态结构。当前面临的问题的复杂性、综合性、交叉性，导致数据的使用成本越来越高，企业迫切需求能够有效打破数据孤岛、解决数据主权、统一数据汇聚和共享的混合式数据平台，数据湖应运而生。

• 数据湖的概念

早在2011年，福布斯的一篇文章中介绍了数据湖（Data Lake）的概念，针对数据仓库中的开发周期长、维护、开发成本高、丢失细节数据等不足进行的补充。数据湖是一种大型数据存储库和处理引擎。它能够大量存储各种类型的数据，拥有强大的信息处理能力和处理几乎无限的并发任务或工作的能力。维基百科对 Datalake 的解释：数据湖是一种在系统或存储库中以自然格式存储数据的方法，它有助于以各种模式和结构形式配置数据，通常是对象块或文件。形象的描述数据湖是指用湖来形容存储数据的平台，流入湖中的水表示未经处理的原始数据，这些数据包括表格、文本、声音、图像等等。湖中的水就代表存储的各种数据，在湖中可以进行数据的处理、分析、建模、加工，处理后的数据仍然可以留在湖中。而流出的水代表经过分析后，下流所需要的数据，再到达用户端，提供信息得出结论。

数据湖的主要思想将是不用类型、不同领域的原始数据进行统一的存储，包括结构化数据、半结构化数据和二进制数据，形成一个容纳所有形式的数据的集中式数据存储集。这个数据存储集具备庞大的数据存储规模，T级别的计算能力，满足多元化的数据信息交叉分析以及大同容量、高速度的数据管道。

• 数据湖的优势

1. 轻松地收集数据：数据湖与数据仓库的一大区别就是，Schema On Read，即在使用数据时才需要Schema信息；而数据仓库是Schema On Write，即在存储数据时就需要设计好Schema。这样，由于对数据写入没有限制，数据湖可以更容易的收集数据。
2. 从数据中发掘更多价值：数据仓库和数据市场由于只使用数据中的部分属性，所以只能回答一些事先定义好的问题；而数据湖存储所有最原始、最细节的数据，所以可以回答更多的问题。并且数据湖允许组织中的各种角色通过自助分析工具，对数据进行分析，以及利用AI、机器学习的技术，从数据中发掘更多的价值。
3. 消除数据孤岛：数据湖中汇集了来自各个系统中的数据，这就消除了数据孤岛问题。
4. 具有更好的扩展性和敏捷性：数据湖可以利用分布式文件系统来存储数据，因此具有很高的扩展能力。开源技术的使用还降低了存储成本。数据湖的结构没那么严格，因此天生具有更高的灵活性，从而提高了敏捷性。

• 数据湖与数据仓库的区别

数据仓库是一个优化的数据库，用于分析来自事务系统和业务线应用程序的关系数据。事先定义数据结构和 Schema 以优化快速 SQL 查询，其中结果通常用于操作报告和分析。数据经过了清理、丰富和转换，因此可以充当用户可信任的“单一信息源”。

数据湖概念是2011年提出来的，最初数据湖是数据仓库的补充，是为了解决数据仓库漫长的开发周期，高昂的开发、维护成本，细节数据丢失等问题出现的。数据湖与数据仓库很类似，都是数据存储，两者之间主要区别如下图所示。

 

数据仓库是优化后的数据库，在存储数据之前要先定义好数据结构。而数据湖是一个数据存储的平台，不需要定义数据，能够自由存储不同类型的数据。在加载数据时，数据仓库需要预先定义，即写时模式；数据湖则是在准备使用数据的时候定义数据，即读时模式。因此，数据湖提高了数据模型的定义灵活性，更能满足不同业务的需求。

随着使用数据仓库的组织看到数据湖的优势，他们正在改进其仓库以包括数据湖，并启用各种查询功能、数据科学使用案例和用于发现新信息模型的高级功能。

• 偶数科技湖仓一体解决方案

随着数据分析需求的扩大，数据湖+数据仓库的湖仓一体分析能力成为下一代数据分析系统的核心能力。相对于数据仓库，数据湖在成本、灵活性、多源数据分析等多方面，都有着非常明显的优势。

 

偶数科技湖仓一体数据平台是新一代的数据基础设施，它能够依托云原生特性、计算存储分离架构、强ACID特性、强SQL标准支持、Hadoop原生支持、高性能并行执行能力等一系列底层技术的变革，实现高弹性、强扩展性、强共享性、强兼容性、强复杂查询能力、自动化机器学习支持等上层技术能力的变革，最终帮助企业有效应对大规模、强敏态、高时效、智能化等愈发明显的数字化趋势。

湖仓一体架构特点：

可管理性：湖仓一体提供完善的数据管理能力。数据湖中会存在两类数据：原始数据和处理后的数据。数据湖中的数据会不断的积累、演化，因此包含以下数据管理能力：数据源、数据连接、数据格式、数据schema（库/表/列/行）。同时，数据湖是单个企业/组织中统一的数据存放场所，因此，还具有一定的权限管理能力。

可追溯性：数据湖是一个组织/企业中全量数据的存储场所，需要对数据的全生命周期进行管理，包括数据的定义、接入、存储、处理、分析、应用的全过程。一个强大的数据湖实现，需要能做到对其间的任意一条数据的接入、存储、处理、消费过程是可追溯的，能够清楚的重现数据完整的产生过程和流动过程。

丰富的计算引擎：提供从批处理、流式计算、交互式分析到机器学习等各类计算引擎。一般情况下，数据的加载、转换、处理会使用批处理计算引擎；需要实时计算的部分，会使用流式计算引擎；对于一些探索式的分析场景，可能又需要引入交互式分析引擎。随着大数据技术与人工智能技术的结合越来越紧密，各类机器学习/深度学习算法也被不断引入，平台已经支持从HDFS/S3/OSS上读取样本数据进行训练。因此，该湖仓一体解决方案提供计算引擎的可扩展/可插拔。

多模态的存储引擎：湖仓一体本身内置多模态的存储引擎，以满足不同的应用对于数据访问需求（综合考虑响应时间/并发/访问频次/成本等因素）。但是，在实际的使用过程中，为了达到可接受的性价比，该湖仓一体解决方案提供可插拔式存储框架，支持的类型有HDFS/S3/OSS,并且在必要时还可以与外置存储引擎协同工作，满足多样化的应用需求。

偶数科技产品与解决方案特性优势：

1. 云原生特性、计算存储分离架构，及其带来的高弹性：利用云服务器、分布式存储等云原生技术，对数据基础设施的扩展性能进行深度优化，充分适应云上应用对高度弹性、无限扩容能力的要求，并采取计算存储分离架构，进一步提升数据基础设施的扩展灵活性；
2. 计算存储分离架构，及其带来的强扩展性、强共享性：采取计算、存储分离的技术架构，充分适应数字化应用对计算、存储分别独立扩展的要求，增强了弹性能力，并能够支持数千节点的集群规模，尽可能避免多集群部署，并可低成本地支持跨集群的数据共享；
3. 强ACID特性、SQL标准支持、Hadoop原生兼容，及其带来的强兼容性：具备完善的SQL标准、ACID特性的支持能力，兼容过去采用Oracle、DB2等传统交易型数据库、MPP数据库的数字化应用，并支持对接访问Hive、HDFS等Hadoop原生组件，从而兼容过去采用SQL-on-Hadoop数据库的数字化应用，实现数字化应用在数据基础设施间的平滑迁移；
4. 高性能并行执行能力，及其带来的强复杂查询性能：面向PB级大数据，具备比MPP、SQL-on-Hadoop数据仓库更快的复杂查询性能，从而明显降低批处理、即席查询所需的时间，保证数据处理能力的高时效；
5. 自动化机器学习支持：具备对自动化机器学习技术的支持能力，基于AutoML等技术，为业务人员提供自动化AI建模能力，实现AI模型全生命周期管理，降低AI研发与管理成本。
6. 数据资产管理能力：具备数据标准管理、数据质量管理、元数据管理、数据资产目录（敏感数据/业务术语表关联/数据标签/血缘分析）等数据资产化管理能力，从而更好地赋予数据以价值，实现数据的资产化管理与运营。
7. 数据服务管理能力：通过数据API管理模块提供的低门槛、可视化的操作方式，以及分组、权限管理、服务上下线、计量与计费等管理功能，帮助数据分析人员将各类数据查询语句封装为API服务，供各业务部门和业务系统调用，从而实现数据的价值变现。