详解华为6G系统的数据治理架构技术

导读:今天的数字化社会中,数据非常重要。未来6G系统将会产生、收集和交换大量的数据。各种运营管理任务,比如配置、性能监控、故障管理,都需要用到这些数据。这些数据还将作为知识经验与其他系统和业务领域交流,产生更广泛的价值。只有通过这样的交流,移动通信系统才能帮助垂直行业以及其他行业取得更大发展。

详解华为6G系统的数据治理架构技术_第1张图片

数据的使用范围不同,数据治理本身不论是经济内涵还是技术内涵也不同。数据治理是指通过相关流程和技术,对数据进行管理、维护和深度开发,获得可以作为组织关键资产的高质量数据。
每个移动网络运营商(Mobile Network Operator,MNO)将移动通信系统中产生的数据按技术域隔离并单独存储,这些技术域包括无线接入网(Radio Access Network,RAN)、核心网(Core Network,CN)、传输网(Transport Network,TN)以及运行、管理和维护(Operation, Administration, and Maintenance,OA&M)等。不同网元、不同参与者拥有的数据不够公开透明,由此带来的数据孤岛是数据采集和共享中的主要瓶颈。
另一方面,大型OTT(Over-The-Top)业务公司在数据治理和变现策略方面(如数据存储、分析服务、API接口)积累的专业知识远远领先于电信领域公司。
6G系统的数据治理方案将为AI和感知业务提供有力支持,将催生新的业务方式和系统特性。

01设计要点和原则

数据治理的范围远不止是传统的数据采集与存储。总体上,系统设计需要考虑四个方面,如图1所示。
详解华为6G系统的数据治理架构技术_第2张图片▲图1 数据治理的设计要点
1. 数据可获得性和质量
数据可获得性和质量是AI能否在各行业中得到应用的最大挑战之一。提高数据的可获得性,意味着数据不能仅仅来自单个系统、单个领域,而需要同时来自多个系统的不同领域。这就提出了一个根本问题:如何打破(多厂商、多运营商、多行业之间的)物理边界,让数据进入异构数据海洋?
一旦收集并利用了原本分散且相互隔离的数据,另一个问题随之而来:如何提高数据的质量?海量数据的获取,并不意味着获取的数据是可用的、高质量的。同时,在考虑降低数据处理计算复杂度和能耗的同时,还需要提高数据处理效率。
2. 数据主权
随着社会的全数字化转型,数据主权、数据安全和隐私的重要性空前突出,很多国家都制定了隐私保护的法律法规服务提供商也在不断更新它们的隐私保护方案,主要国家政府也正在制定或已发布了数据管理相关的规定。
例如,欧盟2018年颁布的《通用数据保护条例》(General Data Protection Regulation,GDPR)就从欧盟层面上规范了数据的使用。2019年,中国颁布了《数据安全管理办法》,与2016年颁布的《网络安全法》一起构成了中国版的GDPR。美国也正在实施隐私相关的法律,例如加州的《消费者隐私保护法》(Consumer Privacy Act)已于2020年1月正式生效。
如何充分挖掘数据的内在价值,为各种业务提供精确支撑的同时兼顾隐私保护,尊重数据主权,已成为近年来的热门话题。6G系统设计应当考虑到监管的不确定性,尤其是存在于不同地区之间的监管差异带来的不确定性。
3. 知识管理
一般来说,知识可以看作是经过处理后的具有特定用途或价值的数据,可以被不同技术和业务领域的物理实体或虚拟实体直接使用。
知识管理包括知识的生成、更新和开放。就知识的生成和更新来说,我们需要仔细把关数据的来源和质量,采取措施拦截不可靠甚至是恶意的数据源产生的低质量和有害数据。而将知识作为一种能力对外开放,则需要适合的平台和接口设计。
4. 法律问题
各种各样的传感器和其他技术可以实时产生数据,这让数据收集和使用越来越复杂和敏感。数据生成能力的提升不仅提供了新的数据流和内容类型,同时也引发了政策和法律对数据滥用的关注:别有用心的机构或政府可能利用这些能力达到社会控制的目的。
同时,新技术能力也让普通人难以分辨技术内容的真假。比如,普通人就很难区分一段真实视频和一段“深度伪造”(deep fake)的视频。维
护技术的社会利益和防止技术能力被用于实施社会控制、剥夺自由之间存在一种脆弱的平衡,如何保护这一平衡,变得愈发重要。为了识别欺诈行为、防止先进技术被滥用,需要更严格的法律和政策手段。

02架构特点

独立的数据面是数据治理系统设计中的关键特性(如图2所示),它将为6G系统提供数据相关的通用能力,从而为6G系统内部和外部功能提供透明、高效、内生安全和隐私保护下文将介绍基本概念和相关网络功能和业务。
详解华为6G系统的数据治理架构技术_第3张图片▲图2 独立的数据面实现完整的数据治理
1. 独立数据面
独立数据面旨在实现6G系统的数据治理方案,它处理的数据来自不同业务实体。不论数据来自哪里,数据的整个生命周期都在这一平面完成处理,包括数据生成与收集、数据处理与分析、数据业务发放。
因此,独立的数据面可以为外部商业实体(如汽车、制造和医疗等垂直行业)提供数据服务,也可以为6G系统本身(如控制面、用户面和管理面)提供网络自动化和优化服务。网络运行相关的配置、状态、日志,以及用户个人数据、传感器数据、其他各方提供的数据都是收集的对象。
收集到的数据会形成丰富的数据资源,这些数据资源可以以分布式的形式被组织起来。为了防止直接将原始数据用于AI和感知等应用而导致的问题,原始数据在被使用之前通常需要预处理(如匿名化、数据格式再塑、去噪、转换、特征提取等)。
为确保数据完整、过程合规,数据处理过程中所涉及的政策(如地理限制、国家或地区隐私法规等规定),不论是否来自监管层面,都默认需要遵守。将数据传递至数据面时,还需要遵守数据合同中约定的数据使用权利和义务。数据脱敏是保护隐私的关键,数据面需要提供这一服务。
上述由数据面提供的所有服务,都由自包含的OA&M系统来运营管理。
数据面的另一重要功能是基于数据收集、处理和编排生成知识。为了协调来自不同数据源的数据的处理和传输,知识的生产也需要按照合同要求进行。
随着新的数据源、数据模型、数据主题被数据客户关注和使用,数据治理框架可以不断演进、不断充实。因此,数据治理框架的运营管理和框架的实时发展是可以并行的。
由于数据面是一个逻辑概念,所以可以通过集中式分层架构实现,也可以作为一种分布在边缘或深度边缘节点上的逻辑功能实现。接下来我们将探讨数据面的一些关键要素。
2. 数据治理的多方角色
数据治理生态系统包括两个维度的角色:从数据客户到数据提供者、从数据所有者到数据管理者。不同的角色可以由不同的业务实体担任。因此,6G中的数据治理是典型的多方参与场景,使用6G系统提供的数据或知识的数据客户、6G系统的数据提供者都可能参与其中。

6G可以有自己的数据治理框架,也可以在自身领域知识的基础上,与其他行业参与者一起构建数据治理框架。也就是说,数据治理框架可能存在不同的演进或发展路线。因此,不同业务实体之间在运营阶段如何确定数据权利非常重要,可以借助区块链等去中心化技术解决这一问题。
3. 数据资源
数据资源的内容非常丰富,包括结构化数据、非结构化数据、预处理数据、后处理数据、原始数据。从无线环境中高效收集数据(如移动性等用户行为数据和网络状态数据)是数据治理的前提。然后可以使用智能方法分析数据、将数据衍生的知识传输给内外部客户。因而有必要了解数据的来源。
详解华为6G系统的数据治理架构技术_第4张图片▲图3 主要数据源类别
图3展示了6G系统中一些主要的数据源类别。

  • 基础设施:基础设施即通信系统,包括RAN、TN和CN等各类物理和虚拟资源,以及云、边缘和深度边缘等计算资源。基础设施内部产生的数据包括计算资源信息、通信资源信息(如某一网络功能的状态)、感知信息(如来自RAN的感知信息),以及某些用户信息(如移动性信息、位置和相关上下文)。
  • 运营支撑系统(Operation Support System,OSS):这一层的数据包括所有OA&M相关的数据,如物理设备状态、系统运行信息、业务发放信息。
  • 业务支撑系统(Business Support System,BSS):这一层的数据包括所有与业务逻辑相关的数据,如客户信息、伙伴关系管理信息。更重要的还有消费者和企业客户的订阅数据,对于这些数据,他们应拥有完全所有权和控制权。
  • 行业通信系统:6G行业应用场景中,收集的数据可能还包括行业相关OA&M数据信息、行业用户信息(如流量规律和移动性数据)以及存储在云端的业务/服务数据。此类数据的所有权应完全属于行业客户。
  • 终端:来自终端侧的数据包括计算和通信资源、业务使用概况、感知知识等。此类数据的所有权应完全属于终端用户。


4. 数据搜集
6G中,数据治理的一个主要作用就是提供合适的方法构建数据资源,这需要合适的架构和网络功能的支持,构建数据资源的第一步是收集数据,这一步有如下几个关键动作:
 

  • 与数据源建立协议(如数据授权)和安全连接。
  • 接收数据收集需求,确定收集范围,根据需求确定收集的地点、时间和方式。
  • 将数据属性告知数据源。
  • 从数据源收集数据并入库。
  • 对数据库中的数据进行操作和维护。

     

5. 数据分析
在管理数据资源的基础上,为不同类型客户提供数据分析服务便成为可能。有如下四种数据分析服务可以提供:
 

  • 描述性分析挖掘历史数据的统计信息,提供网络洞察信息,如网络性能、流量模型、信道状况、用户等方面。
  • 诊断性分析可以实现网络故障和业务损伤自主检测,识别网络异常根因,从而提升网络可靠性和安全性。
  • 预测性分析利用数据来预测未来事件,如流量模式、用户位置、用户行为和偏好、资源可用性,甚至是故障。
  • 建议性分析基于预测性分析为资源分配、内容展示等提供建议。


数据面提供的知识来自数据分析服务,提供的知识包括主动知识(如行动建议)和被动知识(如信息共享和客户的行动决定)。
数据分析服务可以基于客户需要,并根据客户需求定制。数据面应按需多维度开放服务和数据,表1列举了可向客户提供的服务类型的示例。可以预见的是,实际的客户类型比表格中所列举的更丰富,客户对数据分析的需求和使用场景也各不相同。
▼表1 数据面提供的多维数据服务示例详解华为6G系统的数据治理架构技术_第5张图片
6. 数据脱敏
收集和储存敏感数据,就涉及了隐私风险,需要承担隐私保护责任。数据脱敏是回应隐私关切、实现法律遵从的重要动作,对于在6G设计中支持AI和感知业务也尤为重要。
特别是对于AI任务,需要考虑跨领域的设计。近来有大量关于AI领域中差分隐私(differential privacy)的研究,探讨如何将单个设备的训练数据匿名化。
模型训练和AI推理过程中的数据脱敏在6G设计中必不可少。实现差分隐私的方法包括:在不影响数据统计属性的前提下为训练数据加入噪声,训练模型仍然可以捕捉到原始数据集的特征;使用加密技术,使机器学习基于加密的(而非解密的)数据进行。还有一种方法是,让设备发送模型参数,而不是训练数据,比如说联邦学习和拆分学习。
在这一过程中存在一个风险,如果有完全掌握学习方法的内部人员心怀不轨,那么他可以利用模型逐渐收敛的过程构造与训练数据类似的信息。例如在联邦学习中,信息可能因此被泄露给恶意设备。
不论何种学习方法,数据脱敏都是需要考虑的问题。因此,我们需要在这个前提下,思考如何处理不同学习方法之间的差异和学习方法自身的局限性。

你可能感兴趣的:(华为,人工智能,物联网)