华为数据之道-读书笔记5

面向“联接共享”的数据底座建设

一、支撑非数字原生企业数字化转型的数据底座建设框架

       通过数据底座，主要实现以下目标：

• 统一管理结构化、非结构化数据。将数据视为资产，能够追溯数据额产生着、业务源头以及数据的需求方和消费方。
• 打通数据供应通道，为数据消费提供丰富的数据原材料、半成品以及成品，满足公司自主分析、数字化运营等不同场景的数据消费需求。
• 确保公司数据完整、一致、共享。监控数据全链路下的各个环节的数据情况，从底层数据存储角度，诊断数据冗余、重复以及“僵尸”问题，降低数据维护和使用成本。
• 保障数据安全可控。基于数据安全管理策略，利用数据权限控制，通过数据服务封装等技术手段，实现对涉密数据和隐私数据的合法、合规的消费。

1、数据底座的总体架构

• 数据湖是逻辑上各种原始数据的集合，具有“海量”与“多样”特征。数据湖保留数据的原格式，原则上不对数据进行清洗、加工，但对于数据资产多源异构的场景需要整合处理，并进行资产注册。
• 数据入湖必须要遵循6项标准，共同满足数据联接和用户数据消费需求。
• 数据主题联接是对数据会的数据按业务流/事件、对象/主体进行联接和规则计算等处理，形成面向数据消费的主题数据，具有多角度、多层次、多粒度等特征，支撑业务分析、决策与执行；基于不同的数据消费诉求，主要由多维模型、图模型、指标、标签、算法模型5种数据联接方式。

2、数据底座的建设策略

       华为数据底座采取“统筹推动、以用促建、急用先行”的建设策略，根据公司数据化运营的需求，由公司数据管理统一规划，各领域分别建设，以满足本领域和跨领域的数据需求。数据底座资产建设遵从以下4项原则：

• 数据安全原则：数据底座数据资产应遵从用户权限、数据密级、隐私级别等管理要求，以确保数据在存储、传输、消费等全过程中的数据安全。技术手段包括权限管理、权限控制、数据加密、数据脱敏等。
• 需求、规划双轮驱动原则：数据底座数据资产基于业务规划和需求触发双驱动的原则进行建设，对核心数据资产优先建设。
• 数据供应多场景原则：数据底座数据资产根据业务需求提供离线/实时、物理/虚拟等不同的数据供应通道，满足不同的数据消费场景。
• 信息架构遵从原则：遵从公司的信息架构。

二、数据湖：实现企业数据的“逻辑汇聚”

1、华为数据湖的3个特点

• 逻辑统一：华为数据湖不是一个单一的物理存储，而是根据数据类型、业务区域等由多个不同的物理存储构成，并通过统一的元数据语义层进行定义、拉通和管理。
• 类型多样：