金融数据仓库系列-什么是数据仓库

    一个公司里面不同项目可能用到不同的数据源，有的存在MySQL、Oracle里面，有的又存在Hive里面，甚至还有些利用爬虫爬取的第三方数据源，还有部分的影像文件系统如音频和图像等。这些数据都分散在各个源系统中，如何把各个系统整合到一起，避免数据的孤岛和数据没有打通的问题，然后进行数据分析和挖掘。此时数据仓库(Data Warehouse，DW)就派上用场了。它可以对多种业务数据进行筛选和整合，可以用于数据分析、数据挖掘、数据报表。

1.数据仓库的概念

数据仓库：数据仓库是一个支持管理决策的数据集合。数据是面向主题的、集成的、不易丢失的并且是时变的。数据仓库是所有操作环境和外部数据源的快照集合。它并不需要非常精确，因为它必须在特定的时间基础上从操作环境中提取出来。

数据集市：数据仓库只限于单个主题的区域，例如顾客、部门、地点等。数据集市在从数据仓库获取数据时可以依赖于数据仓库，或者当它们从操作系统中获取数据时就不依赖于数据仓库。其中主题主要分IBM的9大主题模型和Teradata的10大主题模型两个阵营。

2.数据仓库的特点

• 主题性：数据仓库是针对某个主题来进行组织，比如滴滴出行，司机行为分析就是一个主题，所以可以将多种不同的数据源进行整合。而传统的数据库主要针对某个项目而言，数据相对分散和孤立。
• 集成性：
  数据仓库需要将多个数据源的数据存到一起，但是这些数据以前的存储方式不同，所以需要经过抽取、清洗、转换的过程
• 稳定性：保存的数据是一系列历史快照，不允许修改，只能分析。
• 时变性：会定期接收到新的数据，反应出最新的数据变化。

总的来说，数据仓库是将多个数据源的数据按照一定的主题集成起来，因为之前的数据各不相同，所以需要抽取、清洗、转换。

3.主流数据仓库

目前在金融以银行业为例大部分源业务系统都是建立在 Oracle中，并且大部分的数据仓库都是建立在Oracle+MPP数据上，单随着大数据技术的兴起目前大部分都往大数据平台上迁移，及以Hive（底层存储HDFS）+MPP的混合部署架构。其中Hive进行数据的跑批和主题层数据的存储，数据集市层放到MPP数据库中进行OLAP的分析和报表展现等。