基于DAP数仓建设过程说明

科技飞速发展的时代，企业信息化建设会越来越完善，越来越体系化，当今数据时代背景下更加强调、重视数据的价值，以数据说话，通过数据为企业提升渠道转化率、改善企业产品、实现精准运营，为企业打造自助模式的数据分析成果，以数据驱动决策。

DAP数据分析平台是公司的核心产品之一，主要是满足在企业进行数据分析的过程中，进行数据集中化管控、决策分析等需要。通过DAP数据分析平台可以有效支撑企业构建数据仓库，实现企业业务数据的清洗和汇聚，同时基于DAP平台的展现配置，可以根据业务主题构建相应的展现看板，从而实现数据的图形化展现，为企业领导层的数据把控和运营决策分析提供支持。 

1总体介绍说明 

数据分析，无论是现在的互联网企业，还是传统型企业，都需要数据分析。公司需要决定一些发展方向或者推出某种新型产品时，就需要数据分析来将一些凌乱的数据进行整合汇总，从而判断出具体的方向。本文将介绍数仓建设的过程，以及流程搭建等工作，并阐述自己的一些看法。 

1.1产品介绍 

DAP数据分析平台是满足企业数据整合、分析的一款产品。它通过ODS定义将企业数据同步到ODS数据库中，再通过数仓模型建立——维度表，基础事实表，汇总事实表进行数据清洗，加工处理，最后进行模型建设方便后续工作使用需要。如图所示： 

1.2产品体系 

DAP数据分析平台可以结合MDM基础数据平台，ESB企业服务总线形成数仓结合可视化组件进行数据可视化展示，能够真实、准确、直观地将企业数据进行处理加工表现出来。目前数通畅联推出DAP+ESB数据仓库治理基础方案和DAP+ESB+MDM数据中台综合方案。可以有效地处理企业被数据困扰的烦恼。 

1.3产品说明 

数据分析平台是帮助企业处理、整合数据的一款产品。它能够将繁乱的数据转化成直观、整洁的可视化效果，便于客户对数据的分析、决策。它分为ODS数据同步，数仓模型，分析模型，导航配置等功能，本文将对ODS数据同步以及数仓模型的创建过程进行介绍。 

2数据采集同步 

万物开头难，任何事第一步最重要，否则后面做得再好、再漂亮到最后亦不过是竹篮打水一场空。 

业务系统到ODS就是数仓建设过程中的第一步。是构建数仓模型的基础，将业务数据同步到ODS数据库中，便于后续维度表，事实表等的创建。 

2.1功能介绍 

业务系统到ODS数据库的过程，可以分为两种：一是源库读取。通过读取客户的数据库数据，将数据同步到ODS数据库中；二是参考表创建。通过创建参考表，将业务数据库中对应得字段名同步过来，再通过ESB流程实现数据的同步。 

2.2功能配置 

下面对业务系统到ODS的同步过程进行如下说明： 

首先登陆DAP数据分析平台，找到ODS数据定义，点击参考表创建： 

选择需要的原系统表名和数据库，点击保存： 

如图所示： 

点击生成表： 

这时在ODS数据库中变有了一个一模一样的空表： 

2.3数据集成 

现在创建ESB流程来将业务数据同步到ODS数据库中刚刚生成的表中： 

打开ESB设计器，进行如下操作： 

点击Next： 

选择自己创建的表，点击Finish： 

点击部署流程。 

在DAP数据分析平台下找到数据调度功能，点击同步资源，选中自己的表，点击发布，执行： 

此时业务数据就同步到ODS数据库中了。 

2.4集成测试 

下面查看一下数据集成的同步日志，对数据集成进行测试： 

找到数据调度中的同步日志，找到同步的数据，双击： 

显示成功，无异常信息。说明数据集成成功了。 

3数据清洗转换 

ODS到数仓模型是数仓建设的核心步骤。它是将ODS数据库中同步过来的数据进行清洗、加工、整合，配置成需要的维度表和事实表，为后续做数据汇总做准备。 

3.1功能介绍 

ODS到数仓模型是对维度表，事实表的创建和配置。它是对同步过来的数据进行清洗、整合、加工，将重要的有价值的数据整理到一起，便于使用和配置。 

数仓建设是对数据最后的把关和处理，是将你所需要的数据都整合起来，方便后面分析模型的使用和配置。 

3.2功能配置 

下面对ODS到数仓模型的操作过程介绍如下： 

首先在DAP数据分析平台找到数仓模型中的维度配置，点击新增：  

根据自己需要填写对应的表和表名，选择对应的数据库： 

接下来找到基础事实表配置，点击新增:  

填写自己对应的信息，事实表类型选择基础事实表： 

3.3数据集成 

数据集成创建ESB流程，将ODS同步的数据同步到创建好的维度表，集成事实表，汇总事实表中。下面介绍创建过程： 

如图所示，流程模板选择ODS转换到EDW，点击Next。 

选择自己创建的维度表或事实表，基础事实表流程与维度表一致，在这就不再详细介绍了。点击Finish。 

点击部署流程。 

点击数据调度中的加工资源，找到自己的维度表或基础事实表，点击发布，执行。 

汇总事实表流程创建则选择汇总事实表加工，点击Next： 

3.4集成测试 

下面对数据清洗转换的数据集成进行测试，同上，查看日志管理： 

找到加工日志，找到自己的数据，双击打开： 

查看是否为成功，有无异常。 

基础事实表与维度表操作方法一致，在这里就不再查看了。 

4数据加工汇总 

数据加工汇总是将ODS库中的数据表，维度表，基础事实表中有价值的数据筛选出来进行加工汇总，方便后面模型配置使用。 

4.1功能介绍 

数据加工汇总其实就是汇总事实表的创建和配置。汇总事实表的作用是将业务系统到ODS库中的表，维度表，基础事实表，进行字段、数据筛选、关联、计算、汇总，组建成一个全新的表。汇总事实表具备了“期末成绩单”的雏形。 

4.2功能配置 

下面对汇总事实表的搭建和配置过程介绍如下：

在事实配置中找到想要创建的位置，点击新增： 

选择对应的数据库，填写对应的信息，选择需要的表，点击保存： 

点击字段信息，导入所需要的字段，也可以选择新增来手动添加。字段添加完成后，点击创建表。 

4.3数据集成 

数据加工的汇总事实表创建完成，但表中没有数据，现在就需要通过ESB流程搭建来实现数据同步。 

流程类型选择第一个，流程模板选择汇总事实表加工，点击Next。 

点击刷新，找到刚刚创建的表，点击Finish。并部署应用。 

4.4集成测试 

下面查看下加工日志，测试数据集成流程是否畅通。 

点击日志管理，在加工资源中找到对应的事实表加工汇总，双击打开：  

可以在Navicat中找到创建出来的汇总事实表，查看同步过来的数据。 

5数据模型建设 

模型建设是在数仓构建中创建的维度表、事实表、汇总事实表进行关联，整合，使数据得到充分的利用，模型建设是对数据的最后一次处理，为后续分析模型的搭建和调用提供方便，它是分析模型创建的基础。 

5.1功能介绍 

数仓模型功能节点、模型配置是这个功能中最重要的环节。它不是单单创建数据表，关联数据，它是将众多数据表，同等类型的数据的表关联起来，就像一个公司，有不同能力的人才，这些人才又服务于公司一样。模型配置就是起到这样一个作用。 

5.2 功能配置

下面介绍数仓模型的搭建及配置过程。 

在数仓模型中找到模型配置，点击新增： 

填入编码和名称，点击保存： 

点击关联关系，关联对应的字段： 

点击查看模型，可以查看模型中关联的数据表： 

点击发布。 

5.3效果展示 

下面看一下数仓模型搭建完后生成的表是什么样子的，都有哪些数据。 

数仓模型关联的数据相关数据都已经整合在一起了。 

6心得总结体会 

本次样例工作开发覆盖了DAP产品在实际项目中的常见使用场景，通过本样例，使用者可以掌握DAP常用功能的使用方法，同时对于此类方案也会有一定的了解，在本章节中，将对本次工作中所得收获进行梳理总结。 

6.1功能总结 

站在功能角度来看，本次开发工作中可以看出，调度流程的创建已经更为便捷，产品对于非技术人员的友好度做出了提升，使用者可通过在页面中选择配置，即可在ESB设计器中生成对应的调度流程，降低了产品的使用难度；同时通过本篇文档以及样例工程，可以快速的掌握DAP产品中数仓的构建过程，从而更快的去开展工作，提高整体工作效率。 

6.2能力提升 

本次样例功能开发主要针对数仓构建这一步骤，样例的使用者可以根据本次开发完成的样例工程，快速的学习并掌握DAP产品以及ESB产品在数仓构建时使用到的功能模块；同时也可以根据ESB产品中自动生成的SQL语句去了解数据在同步至数仓的过程中经过了哪些处理步骤，掌握数据从业务系统到数仓的整体逻辑。 

6.3 心得总结

在DAP这款产品中，数仓的构建是各种操作的基础，无论是后续的分析展现或是其他的一些操作，都是基于数仓中的数据进行的；同时相较于市面上其他同种类型的数据可视化产品，DAP还可以保障同步到数仓中的数据是准确且可靠的，企业无需为数据的准确性担忧，可根据这些数据进行分析并对后续工作做出决策。 

通过本次样例功能的开发，可以看出DAP产品提升了对非技术人员进行使用的友好度，使用者可通过配置页面上的功能去完成数据到数仓的调度；也可以快速生成报表，无需技术人员进行协助，减少了工作的参与人员，提高了工作的效率。