数据驱动企业二次腾飞

数据中心整体解决方案

1      前言

 

随着全球经济的发展、互联网时代向DT时代的快速转变，企业发展到一定阶段，一体化、产业化、互联化势必成为二次腾飞的新的机遇。但是在企业内部，长久以来的业务分散发展、导致信息孤岛、业务链断点等等问题，这些问题本质上是数据的问题，数据没有实现深层次的价值。企业实现快速发展，解决数据的问题，挖掘数据的价值是势在必行的一条道路。其中，数据价值发现的三个主要思路是：

1. 解决企业信息孤岛，实现业务一体化贯通；该思路是目前企业解决信息孤岛的主要解决方案。

2. 数据一体化，为企业发展提供深层次价值挖掘；该思路的本质是以数据为现象发现企业内在本质，解决企业问题。

3. 数据运营化，自身数据的对外服务和运营，掌控入口；该思路目前在互联网行业和掌握了数据的行业开展的比较多，通过挖掘数据的价值，实现数据增值。

结合当前数据增值的几种思路，以及目前大型集团企业遇到的问题，北京京航计算通讯研究所经过几年的研究实践，成功发布了企业数据资源管理与分析平台V2.0，目标是为企业解决数据问题，实现数据增值。

2      飞航企业数据中心整体解决方案

飞航数据中心整体解决方案1.0版本从2011年开始项目落地，从用户的基础数据管理需求开始，经过几年的发展和实践，创新性的提出了业务主题数据、数据全周期采集、管理、应用、分析一体化管理的理念。在航天科工集团及下属各级单位得到了成功的应用。

在2015年，经过近5年的经验积累，成功发布飞航企业数据资源管理与分析平台，实现了企业级数据中心的一键式解决方案，同时，向不同行业提供最佳业务实践。

2.1    以元数据为核心的数据资源建模方法

图一：元数据为核心的理念

京航所结合多年的信息化建设经验，提出了一套符合集团型企业的飞航数据资源建模方法可以适应不同项目对元数据模型描述方法的差异化定义，以及系统的不同应用阶段对元数据模型描述方法的调整。同时该建模方法为用户提供了自定义的扩展接口。

数据建模是数据对象的描述，包括数据标识、数据构成的元素，元数据模型是一种数据规范，涵盖了数据的命名、解释、数据结构等信息，可用于创建数据库结构、了解数据模型，执行跨系同数据交换与共享。在资源目录下创建元数据模型，进行主数据模型管理。引用元数据模型定义，对主数据元素进行数据描述，形成完整的数据信息、数据模型信息、数据引用关系信息等，支持数据的管理应用。同时，对元数据模型进行版本管理，以适应数据管理变动的需求，同时对数据实体模型、数据内容产生影响。

基于数据资源建模方法，通过平台实现数据资源对象的数据建模，通过数据模型建立数据资源的存储结构、数据格式、与其他模型的关系等。适应随时间、管理方法的变化而需要进行的数据模型调整，通过系统配置可实现模型的变更、升级，并保证数据资源的安全性、数据模型的平稳变化。

2.2    以数据模型为依托的数据资源管理与应用

以数据模型为基础实现数据的维护、管理、查询检索，支持数据的流程审核，实现多角色的数据协同管理。通过配置实现数据资源管理界面、数据项的定制，不同的界面数据内容应用于不同的管理场景。

同时，京航所结合多年经验，提出了一套以企业经营管理为核心的数据模型集，提供了标准的数据模型。同时，平台提供灵活的模型关系定义，实现企业数据的统一视图。

2.3    灵活多变的编码引擎

对于企业，特别是集团型企业，需要进行编码管理的基础数据不胜枚举，人员需要唯一编码、合同需要编码、物资需要编码、产品需要编码等等，编码数据是企业业务贯通的关键节点，好比人体的关节，是串联所有业务的关键生命线。

飞航数据资源管理与分析平台结合企业编码数据需求，同时结合了由于业务发展导致编码变更、新旧编码同时存在、多编码规则等问题，提供了一套灵活多变、可配置的编码引擎。该引擎支持支持多种形式的码段规则管理，如固定码段、特征码段、日期码段、流水码段等。其中，特征码段管理特征属性的特征值与特征码对照表。通过该编码引擎，满足企业的编码数据要求。

 

2.4    基于规则引擎的数据质量提升

为了保证数据中心的有效性和准确性，平台提供了基于规则引擎的数据质量管理模块，即通过质量规则的定义以及将规则与数据模型进行关联，通过评估调度产生评估报告和分析结果。

质量规则定义中创建针对数据评估需要的质量规则，在数据模型规则设置中将系统中每类数据模型中需要校验的元素与校验规则配置起来。在质量评估调度中设置生成评估结果的频率和校验内容。数据质量评估提供对数据模型的元素手动生成评估报告。

 

2.5    基于MPP的数据集市

采用自研的MPP数据集市方案，该方案采用类似MapReduce计算框架，借鉴增量流计算理念，采用内存计算，库内计算，分布式通讯，列存储分布式文件系统等新技术开发实现的一个具备分布式并行实时处理，复杂查询优化，复杂分析支持的大数据计算处理数据库系统。

 

2.6    基于敏捷式的快速分析与持续迭代

数据仓库＋OLAP时代的商业智能系统，要求用户预先提出的分析及统计的需求。以此为基础，展开数据建模工作，进而导入数据，然后再创建Cube。这些工作完成以后，才能开发商业智能应用，这是典型的数据驱动模式。业务驱动的商业智能系统，则直接导入细节数据，不再要求用户预先提出具体的分析及统计需求，也不再有创建Cube的过程，这大大简化了数据层的工作，缩短了数据层的响应周期，整个商业智能系统由数据驱动转化为业务驱动。

 在数据仓库＋OLAP时代，一个新的分析需求也许要用一个月的时间去实现，现在只需一周甚至一天。以前建设一个商业智能系统也许需要一年，而如今不到一周我们就能开发出第一个数据分析应用。

2.7    基于探索式的用户自服务商业智能

探索型BI系统认为Reporting、Dashboard等数据应用是商业智能系统的门户、入口而不是终点。在这样的系统中，基于过滤(Filter)、钻取(Drill)、刷取(Brush)、关联(Associate)、变换(Transform)、动态计算（Dynamic Calculation）等等分析技术，用户可以进一步与数据互动(Interactive)。

  数据层薄了，业务层就有条件厚实起来。行业领先的企业在良好的分级规划和分级管理下，上至总经理下至一线员工，各级部门都能提出并开发自己的数据分析应用，最终打造出随需应变的自服务商业智能系统。由于大部分数据分析应用由用户或者靠近用户的人员自行开发，开发应用的关联人员减少，整个机构管理更加扁平化，而响应时间却大大缩短，企业的经营管理能力和战略决策水平随之提升。相比传统的商业智能系统，自服务商业智能系统更优化，更有效率。

  直接导入细节数据的这一数据建模技术，将数据和应用之间的关系从紧耦合改造成松耦合，让大多数分析应用不引起数据层的任何改变；而基于MPP架构的商业智能系统，能够直接对细节数据进行高性能分析。这样一来，用户可以快速开发出数据应用，并随即进行实时分析。

3      结束语

DT时代的到来，数据的价值会越来越被人发现，特别是对于大型集团企业，数据从产生、传输、使用、复制、报表、图形等全生命周期过程中，每个阶段都会发挥不同的作用，只有更深的发现数据的角色，赋予数据更多的作用，数据就会为企业产生更多的作用。

飞航数据中心正是为此而生的！