数据湖和数据仓库的区别？

进行数据分析工作的时候会用到很多的工具，比如说数据湖和数据仓库，不过这两者之间的差异和区别，可能会让人困惑。那么大家知道不知道数据湖和数据仓库的区别是什么呢？下面我们就给大家介绍一下数据湖和数据库的相关知识。

2010年，James Dixon提出数据湖（Data Lake）的概念。

2011年Dan Woods在福布斯发表“大数据需要更大的新架构”（Big Data Requires a Big New Architecture），数据湖开始广为传播。

数据湖与数据仓库的区别

数据湖是与数据仓库相对的概念。数据仓库有两个局限：一是只可以回答预先设定的问题，二是数据已经被筛选包装好，无法看见其最初状态。

为了说明数据湖与数据仓库的不同，James Dixon说：“如果数据集市是一个商店的瓶装水，经过过滤包装和结构化以供使用——数据湖则是在更自然状态下的大量的水。数据湖中的数据来源于不同地方，用户可以进入数据湖中提取所需要的数据”。

数据湖的核心原则是集中存储原始的、未经改变的全量数据，在提取数据时才进行转换。数据湖存储各种类型数据，重点是非结构化和半结构化数据，通过统一视图提供开放访问。数据湖具有强大的元数据管理能力，保证所存储数据资源的语义一致性，这是进行大数据分析的基本前提。

图片.png

城市数据湖与谷歌数据中心的类比

将城市数据湖与谷歌数据中心做个类比，不难发现：数据湖的定位和搜索引擎类似，核心的技术实现是多源异构数据的自动化标注，才能像在搜索引擎上查找信息一样实现按需检索、即取即用。

Google、Facebook、Infomatica、亚马逊AWS、微软Azure等IT巨头积极采纳数据湖概念，并推进实际落地。很多数据仓库迁移到以Hadoop为核心的技术栈，将半结构化、非结构数据存储到数据湖中，以弥补数据仓库的技术局限性。

1、数据湖的基本定位

数据湖是城市的“数据工厂”，是城市大数据应用的“中央厨房”。

数据湖定位于数据采集、汇聚和存储环节，是公用数据集和分析型应用的源头。狭义数据湖仅是对应“存储”这个环节，广义数据湖则对应“入湖、存储、出湖”三个环节。

（1）数据汇聚

接入多源异构数据源，扩展新型大数据和流式数据采集能力，统一监控运行状态。

（2）数据标注

引入人工智能技术，实现元数据的自动化标注，提升到数据资产管理。

（3）数据分发

提供一站式数据服务，从数据发现、准备到提取，实现按需提供、即取即用。

2、数据湖的服务对象

数据湖定位于提供原料数据而不是成品数据，重点解决数据供给侧的问题。

按照办业务和做决策两类业务场景对获取原料数据的共性需求，数据湖的服务对象不外乎两类：一类是生产数据内容产品的公用数据集建设者，比如建立人口库、法人库等基准数据，用于自然人和组织机构的统一身份认证；另一类是生产数据分析产品的分析型应用开发者，比如开发城市大脑等决策系统，用于城市中长期规划和重大风险预警。

3、数据湖的体系结构

数据湖由元数据平台、数据湖仓库和数据湖服务三个部分组成。

元数据平台用于数据资产登记、盘点、评估和处置，数据湖仓库用于原生数据可管理、可扩展的统一存储，数据湖服务用于对外提供数据发现、准备和提取服务。

4、数据湖的核心特性

按照数据湖的基本定位，应该具有以下核心特性：

（1）数据总收总发

（2）以原生格式存储，在提取时再转换

（3）元数据自动化标注

（4）元数据标注质量的机器学习改进机制

（5）供需对接的数据资源市场机制

（6）数据按需提取、即取即用

（7）数据资产的全生命周期价值管理

5、数据湖的技术难点

数据湖的技术门槛很高，元数据自动化标注是最大难题。

数据湖有点像图书馆管理员。不编制书目，你就找不到你想要的书；不编制数据目录，你就找不到你想要的数据。

可以把数据湖想象成一个元数据标注的机器人，它每时每刻要对进入数据湖的数据进行认读——这篇文章、这张图片、这段视频、这段语音、这些传感器数据等等，到底说了什么；然后进行编目——数据从哪里来，作者是谁，标题是什么，主题词、关键字是什么，从而建立数据目录，以支撑数据资源管理和服务活动。

这就牵涉到人工智能技术在元数据管理领域的综合运用。比如，文书型数据要用到自然语言处理，媒体型数据要用到图像识别和语音识别；为了提高元数据标注的速度和准确性，还要引入机器学习。恕我孤陋寡闻，单领域有很牛的公司，但是将多领域的人工智能技术用于元数据管理，有这样技术预研和储备的公司几乎没有。

其实，并非是技术上做不到，而是商业上是否可以期许。城市数据湖在技术复杂度高于谷歌数据中心的情况下，如果可以预判在不久的将来，城市数据的大规模集中和深层次利用是大势所趋，但是又缺少堪用的城市数据基础设施，那么投资于城市数据湖研发就是理所当然。