读书笔记--数据治理之器

       继延续上一篇文章，对数据治理之器进行学习思考。所谓的工欲善其事，必先利其器，数据治理工具是企业数据治理体系落地的重要保证。本部分内容主要讲述了数据治理的7把利剑，包括数据模型管理工具、元数据管理工具、数据标准管理工具、主数据管理工具、数据质量管理工具、数据安全治理工具、数据集成与共享工具。数据治理的本质是管理数据资产，改善数据质量，防护数据安全和个人隐私，促进数据应用。不同的企业要根据自身的业务诉求特点，有针对性的选择技术平台和工具。同时，企业要从一开始就意识到数据治理是一项长期持续性的日常工作，数据治理工作的核心是关注对业务价值增长的助力，一般与数据相关的项目都是一项重服务或重实施的项目工作，需要长期不断的坚持和投入，可能需要投入10年或20年才能逐步见效，或者对业务价值提升起到间接提效或支撑作用，因此企业的数据治理工作需要选择长期合作、可靠的、有真货的供应商来持续开展，需要重点考察供应商的知名度、成功案例、咨询实施经验和团队人员能力，同时也要考虑总体拥有费用成本（即TCO)等等。

一、数据模型管理工具

企业信息孤岛问题导致数据难以连通，最佳解决方式是开展全局规划，构建统一的企业数据模型，形成统一数据标准，该工具帮助企业输出一组标准化的、与业务一致的数据定义，并且符合业务规则和监管要求，并具有可重用性，该工具是数据治理工作的关键推动因素。数据模型管理工具提供了可视化建模、模型管理、模型对比和分析等功能。数据模型管理工具逻辑架构见左图所示。数据模型的应用见右图所示。

二、元数据管理工具

元数据管理工具是企业数据治理工作的重要抓手，帮助企业解决数据查找难、理解难等问题，促进了数据集成共享，元数据管理工具能够更好的获取、共享、理解和应用企业数据信息，降低数据集成和管理成本，提高数据资产的透明度。元数据管理平台架构见下图。

元数据采集主要包括对业务元数据、技术元数据和操作元数据的采集。详见下表，采集方式有自动化采集和人工采集，最难采集的是业务元数据。

元数据应用主要有在数据治理中的应用、应用系统开发过程中的应用（开发库、测试库和生产库）、数据仓库中的应用（数据关系、分析、交换和共享等）。

三、数据标准管理工具

大部分情况下，数据标准管理工具整合到元数据管理平台中，作为整体提高数据治理服务，必须包括标准制定、发布、执行和监控功能，数据标准问题不是一个技术问题，要让数据标准管得好、用得好，需要管理制度、流程、数据思维、文化等方面的建设。整体架构见下图。

四、主数据管理工具

主数据作为黄金数据，具有很高的价值，是企业数据资产管理的核心，解决企业异构系统的数据标准不一致不标准的问题，保障业务连贯性，数据一致性、完整性和准确性，提升业务线间的协同能力，支撑领导的管理决策需要。主数据管理系统功能架构见下图所示，包括业务系统层、主数据集成层、主数据管理层和主数据应用层。主数据管理工具主要提供主数据建模、管理、质量、安全和主数据集成等功能，利用中央存储库来存储和管理整个企业的主数据，为企业的关键业务数据提供统一集中的数据视图，该工具需要和企业的业务系统集成使用。

五、数据质量管理工具

数据质量管理工具架构见下图，数据质量维度是数据的六性（即唯一性、一致性、准确性、完整性、关联性和及时性），数据质量指标是从业务实体角度对质量问题的简单描述，可包含一个或多个信息项。一个完整的数据质量管理方案应包括数据质量评估指标设计、数据质量管理工具构建、定期或持续的数据质量测量、持续的数据质量改进机制等。工具是数据质量持续监控和不断改进的重要支撑。

六、数据安全管理工具

数据安全治理功能架构见下图所示，主要体现在数据管理和应用层面。数据安全治理的应用功能主要有数据安全风险监测、数据安全预警、数据安全问题或风险报送、数据安全培训等。在数据的采集、存储、传输、处理和使用过程中都要涉及到安全，企业要根据自身需要选择相应的安全治理工具。

七、数据集成与共享工具

数据集成与共享工具用于实现跨单位、跨部门的数据资源集成和共享，由多个系统构件组成，实现数据的汇聚、融合、交换和共享的整体解决方案，该工具是一个工具集，通过将数据桥接、数据传输、数据处理、目录服务、元数据管理、数据质量管理等工具进行整合应用，一般包括数据交换共享系统、目录服务系统和数据管理系统等，架构图见368。

数据交换共享系统是整个平台的核心，包括交换桥接子系统、交换前置子系统、交换传输子系统、数据加工子系统、管理和监控子系统。

目录服务系统包括目录编目管理、目录注册管理、目录发布管理、目录查询管理和目录维护管理等功能，目录编目的作用是为数据资源和封装的服务建立分类目录和索引。

数据管理系统通过元数据管理和数据质量管理等功能，对交换库、共享库和目录库进行统一管理。

       最后，由于数据治理是一项长期持续性的日常工作，治理的核心是关注对业务价值增长的助力，需要选择长期合作、可靠的、有真货的供应商来开展，数据相关的项目是一项重服务或重实施的项目工作，重点考察供应商的知名度、成功案例、经验和团队人员能力等，具体给出了数据治理工具该如何选型的建议，主要从以下一个方面进行考察选择。

1.供应商综合实力：知名度、市场地位、信用、财务信息、资质、专业资质、研发能力、服务能力（咨询能力、实施能力、服务能力等）。

2.产品的架构考察：数据、技术、应用、安全和部署架构。

3.产品的功能考察：分为全面开展的数据治理和面向主题的数据治理工作。功能指标主要有工具的自动化程度，支持的数据类型，支持的数据来源，产品规划路线图，配套文档等。

4.产品的性能考察：性能、可靠性、易用性、安全性和可扩展性指标（集成能力和二次开发支持能力等）

另外，数据治理工具选型过程中要着重考虑工具选型和成本预算，即TCO(总体拥有成本)，TOC=购买工具产品的成本+后期的运营和维护成本。