主数据概念过时了吗,在这些大数据技术背景下,数据平台等新技术的出现,我们还需要主数据吗?

当企业信息化发展到一定程度时, 数据管理必然会被提升为企业的一个重要管理领域。数据管理的好坏程度, 很大程度上影响着企业信息化进程, 决定着企业信息化最终的成效。

企业信息化建设基本上都是从部门级开始的, 从部门的实际业务需要出发独立建设信息系统, 随着这些信息系统的建设和应用, 各业务系统都经历了从无到有, 从简单到复杂的过程, 也形成了一个又一个的企业“信息孤岛”。为解决“信息孤岛”产生的数据多头录入、不一致等问题, 确保企业数据的全局一致性, 提出了主数据以及主数据管理的理念。

总的来说, 主数据 (Master Data) 是在企业整个价值链上被重复、共享应用于多个业务流程的高价值的数据, 主要描述企业核心业务实体, 是各业务应用和各系统之间进行信息交互的基础, 例如供应商、会计科目、客户、项目等, 其具有相对稳定、变化缓慢的特征, 是单一的、准确的、权威的数据来源。

基于前面的铺垫,我们也可以回答题主的问题:主数据的概念并没有过时,新技术出现的背景下我们也需要主数据。所以小亿下面想和大家聊聊这个话题。

广告

点这里,免费申请数据治理产品~

一、什么是主数据?

主数据(MD Master Data)指系统间共享数据(例如,客户、供应商、账户和组织部门相关数据)。与记录业务活动,波动较大的交易数据相比,主数据(也称基准数据)变化缓慢。在正规的关系数据模型中,交易记录(例如,订单行项)可通过关键字(例如,订单头或发票编号和产品代码)调出主数据。主数据必须存在并加以正确维护,才能保证交易系统的参照完整性。

从报告或维度建模角度看,主数据指基于其组织或配置指标的维度或层次,而不是实际情况或其自身测量结果。例如,收入、成本和利润是实际情况,而时间、地点、客户和供应商是维度。

主数据概念过时了吗,在这些大数据技术背景下,数据平台等新技术的出现,我们还需要主数据吗?_第1张图片

二、主数据管理有什么用?

对于企业来说,更多的是由下至上构建系统,而不是由上至下构建,必然缺乏整个企业范围内的统一规划。正因为上述现象,才有了现在经常被提到的信息孤岛、流程割裂等现象,而主数据管理又是企业实现内部决策分析、业务流程再造的前提,自然也不可或缺,因此做好主数据管理有以下3个方面的好处:

1.帮助跨部门协同

数据资产的维护需要站在公司的高度,协同各个部门共同完成,主数据是在各个业务部门被重复使用的数据,其管理兼具技术和业务的双重因素,因此做好主数据管理能帮助跨部门协同。

2.便于开展数据治理工作

主数据管理项目初期不涉及交易系统改造。主数据问题解决好了,公司的数据资产框架就理顺了,数据质量、数据及时性等将明显提升,便于继续开展其他数据治理、信息化、数字化工作。

3.赋能数字化转型的需求

数字化转型需要以客户需求为出发点,各部门通力协作,而当前行业技术业务分割明显,主数据管理过程也锤炼了跨部门的协同,通过加速科技和业务的融合,建立公司范围内通用的主数据规范,以保证数据的一致性和管理报表的合并,这是公司进行其他业务变革成功的基础之一。

三、如何做好主数据管理?

主数据管理是指一组约束和方法, 用来保证企业内某一主题域的数据在各个系统内的实时性、含义和质量。企业的主数据管理不仅仅是对主数据基础属性的维护, 还应涉及对主数据全生命周期的管理, 包括前期业务数据调研、主数据确认、主数据建模、主数据系统建设以及后期维护管理要求等一系列的管理流程。一套完备的主数据管理方法有利于企业整体把控主数据, 也更能将其高效地应用于企业信息化建设中。

广告

点这里,免费申请数据治理产品~

1.主数据识别

主数据识别是实施主数据管理的前提及基础, 只有识别出企业的主数据,才能更准确地确认企业的主数据实施范围。在识别主数据的过程中, 往往需要结合企业的实际情况进行业务分析, 同时在考虑主数据定义及特点的基础上识别企业内部的业务数据及基础数据。业务数据通常对实时性要求较高, 且变化频率较快, 因此绝大多数的业务数据不能作为主数据进行管理。所以企业的基础数据以及小部分业务数据是主数据识别的主体, 本文建立三种分析指标对企业主数据进行识别。

  1. 共享性。共享性是指该类数据不仅仅存在于一个业务系统中, 而是同时存在于多个系统中, 且不同的系统有基于此数据进行交互的业务, 即该类数据在多个业务系统中共享;
  2. 一致性。一致性是指该类数据的关键属性在不同的业务系统中具有相同的含义。例如, 客户主数据, 客户名称这一属性在不同的业务系统中都应该表示客户所属公司的名称;
  3. 稳定性。稳定性是指该类数据变化频率较低, 换言之, 该数据一旦在系统中生成, 直到废弃不用, 在这期间几乎不需进行修改。例如, 人员主数据, 记录一个人的基本信息, 包括身份证号、姓名、性别等, 这类数据若非废弃, 不需进行修改。

将企业的数据与以上三个指标进行匹配, 主数据管理者可以初步识别企业范围内的主数据。对于各类主数据应包含哪些属性字段, 即元数据的识别, 依然可以采用与以上三个指标进行匹配的方法进行识别。至此, 主数据管理人员可以根据识别结果形成企业内主数据类别及元数据类别的初稿, 为后续主数据确认提供数据基础。

2.主数据确认

目前大部分企业的信息化建设已经建成各个业务系统, 而后再进行主数据的建设, 因此存在这样的现状:大部分已经建成的业务系统在不进行主数据建设的情况下依然可以稳定运行, 而参与主数据建设反而可能会因对该系统进行改造而影响系统的正常运行。这就使得主数据建设的推行存在各业务部门配合不积极的问题。因此, 主数据的建设需要得到上级领导的大力支持, 进行统一的协调及规划, 协调各业务部门积极参与主数据的建设。

主数据管理人员形成主数据类别及元数据类别初稿后, 由于涉及业务部门较多, 因此需要上级领导协调各业务部门参与主数据类别及元数据类别确认。每个业务部门结合部门需求及系统建设情况, 对形成的初稿进行反馈。通过与各业务部门反复沟通确认, 主数据管理人员根据反馈意见及主数据管理要求, 形成最终的主数据类别及元数据类别建模文档。

3.主数据管理系统建设及主数据建模

要进行企业主数据的管理, 主数据管理平台的建设必不可少。主数据管理平台在企业中起到数据总线的作用, 主数据管理平台架构如图1所示。

主数据概念过时了吗,在这些大数据技术背景下,数据平台等新技术的出现,我们还需要主数据吗?_第2张图片

此架构包含数据资源层、数据处理层以及应用层。数据资源层存储了整个企业的数据资源, 其中业务数据库与主数据数据库是存放企业数据资源的主要载体, 同时企业的数据资源也可能来源于其他数据源的分发, 数据资源层是企业的基础, 企业内所有业务开展以及日常工作的运转均依赖于数据资源层的稳定运行;数据处理层是主数据管理平台形成的数据总线, 该平台应包含数据建模、数据整合、数据分发、数据维护以及数据质量管理等核心功能, 在企业信息化中发挥核心作用, 主数据管理平台通过将不同数据资源进行集成, 为上层应用系统提供运行支撑;最上一层的应用层为企业各个应用系统, 负责企业的日常业务处理。

在主数据管理平台建设完成后, 企业主数据管理者可以对企业内各类主数据进行基于平台的操作。主数据管理平台主要由建模、整合、治理、共享四个核心环节构成, 是企业范围内信息化环境的数据中枢, 为企业内其它异构应用系统提供唯一的、完整的、准确的主数据信息。

  1. 主数据建模。企业主数据管理者根据前期确认的元数据与主数据类别建模文档对元数据以及主数据进行建模, 实现对元数据与主数据的定义和管理, 同时在数据库内生成对应的数据库表, 用于后续主数据管理及维护;
  2. 主数据整合。主数据整合主要涉及每类主数据数据源的确认、数据抽取方式的确定等。为了确保企业主数据的准确性和唯一性, 要求每类主数据只能有一个数据源系统, 只有数据源系统可以对该类主数据进行管理操作;
  3. 主数据治理。在建模初期, 企业主数据管理者要根据企业信息化要求制定每类主数据规范, 该规范需严格规定每类主数据的每个属性字段的含义及相应的字段要求等内容。在数据治理阶段, 企业主数据管理者要根据每类主数据规范对抽取到主数据管理平台中的数据进行规范化处理, 进而保证上层应用系统使用的主数据准确、一致和完整;
  4. 主数据分享。主数据管理平台将已经建模整理好的主数据同步到企业各个异构应用系统中进行应用。该步骤往往通过应用系统间的接口实现。

通过建设主数据管理平台, 企业主数据管理者可以对企业内的主数据进行规范化的管理和操作, 保证了企业内部数据资源的集成及应用。

4.主数据接口规范编写

通过在主数据管理平台对主数据进行建模, 完成主数据整合、主数据治理等工作, 最后将主数据管理平台内的主数据同步至企业内其他应用系统中, 实现主数据的应用。由于涉及主数据管理平台与企业内各个异构系统之间进行数据交互的工作, 为了保证不同应用系统间数据交互接口可以顺利进行联调, 需要企业主数据管理者制定各类主数据标准接口规范, 形成标准接口规范文档, 供系统开发者进行接口开发使用。主数据标准接口文档需要明确系统间接口格式、使用协议类型、接口传递数据文件格式等一系列与接口相关的信息, 确保企业内各个异构应用系统开发者可以依据接口规范文档顺利进行接口代码的编写以及与主数据管理平台的接口联调工作。

5.主数据管理要求制定

要保证企业主数据得到合理高效的利用, 针对主数据的管理要求必不可少。在管理层面上, 需要建立主数据责任人体系, 将每一类主数据分别指定专人进行管理及维护。每类主数据管理人员需确保所管辖范围内的主数据的准确性、一致性、唯一性以及完整性。只有在管理层面上对每一类主数据的管理提出明确的要求, 才能保证整个企业内部的主数据管理有条不紊地进行。

四、企业主数据管理案例

前面分享了这么多关于主数据的理论和方法,下面小亿想以企业中应用主数据管理的例子来帮助大家理解。

亿信华辰开发的主数据管理平台EsMDM可以保证各个系统间共享数据的一致性、完整性、可控性、通用性、正确性,帮助企业创建并维护主数据的单一视图,从而提高数据质量,统一商业实体定义,简化改进商业流程并提高业务的响应速度。

例如其在南山集团物料主数据管理平台中就有所应用,对人力资源、财务、物资、销售、设备、设计、工艺、生产和物流运输主题域等主数据进行标准化管理,建立南山自己的数据管控团队,规范数据管理制度与流程。

帮助完成人力资源、财务、采购、营销、指标及其他基础等六大类主数据建设,其中物料主数据,涉及40+大类,3000+小类,10万+实体数据,并实现供应链等其他经营系统的数据对接共享。

又如亿信华辰帮助楚昌集团建设的主数据管理平台,其主要建设人员主数据、组织机构主数据、费用主数据、科目主数据这四类主数据,保证主数据业务含义清晰、技术标准统一、管理口径一致,实现这四类主数据在集团内各业务系统的共享交换。

形成了规范的集团主数据管理制度,为主数据管理提供保障;搭建了主数据管理平台,为集团二级公司主数据的落地奠定基础;集中管控了人员、组织机构等唯一数据源,为集团进一步的数据开发共享提供了基础条件。


根据调查显示,目前中国大部分企业的主数据体系建设仍然处于起步阶段, 主数据管理在国内还存在着诸多问题。例如, 对主数据的重要性以及复杂性认识不足、企业对主数据的管理机制不健全等。从各个企业建设主数据的现状分析, 主数据管理方法的不健全使许多企业的主数据管理形同虚设。因此,主数据在当前新技术层出不穷的背景下仍然没有过时,仍然在企业数字化中有着重要意义。

你可能感兴趣的:(大数据,java,数据库)