联邦学习拜占庭鲁棒差分隐私博弈论

联邦学习攻击概述

通过模型平均,federated learning 使得参与者能够对最终的全局模型的权重直接产生影响,其中有些参与者不可避免地是恶意的。
拜占庭攻击:
旨在阻止全局模型收敛
经典的联邦学习数据中毒攻击主要是通过攻击者破坏受其控制的客户端中的局部/本地数据来实现的。这中攻击对于拜占庭鲁棒的联邦学习是无效的。
当参与者的数据不受独立同分布时,现有的用于拜占庭容忍的分布式学习技术将不再适用。

A game in strategic form has three elements:the set of players,which we take to be the finite set,the pure-strategy space for each player,and payoff functions.

Bertrand competition

Stackelberg

Dominated Strategies

混合策略

如果一个策略规定参与人在给定的信息情况下以某种概率分布随机地选择不同的行动,称为混合策略。

Marginal cost边际成本

增加一单位的产量随即而产生的成本增加量即称为边际成本

支付函数

根据参与人对其他参与人的了解程度,博弈可分为
完全信息博弈:所有参与人对其他参与人的策略空间、支付函数等信息有充足的了解。
不完全信息博弈:至少有一个参与人对至少其他一个参与人的策略空间或支付函数等信息不了解。

贝叶斯博弈(不完全信息博弈)

博弈参与者对于对手的类型没有掌握完全信息的博弈
Harsanyi 变换方法将博弈开始之前的未知信息(身份或底牌)转化为博弈开始之后的随机结果(自然抽签),使不完全信息的问题可以用概率论的方法来求解

完全信息动态博弈

博弈中信息是完全的,即双方都对其他参与人的战略空间和战略组合下的支付函数有完全的了解,但行动是有先后顺序的,后者可以观察到前者的行动,了解前者行动的所有信息,而且一般都会持续一个较长时期。

完全静态博弈

各博弈方同时决策,
上策:指对某博弈方来说,不管其他博弈方采取什么措施,他所采取的能给他带来最大得益的策略。

扩展式博弈

在静态博弈中,参与人同时进行决策,而在动态博弈中,参与人的行动顺序有先有后,用扩展式博弈-博弈树,来描述动态博弈。更注重对参与人在博弈过程中遇到决策问题时序列结构的分析。
包含以下要素:

  1. 参与人集合
  2. 参与人的行动顺序
  3. 序列结构:每个参与人行动时面临的决策问题,包括参与人行动时可供选择的行动方案、所了解的信息;
  4. 参与人的支付函数

组合拍卖

竞价人可以对多种商品的组合进行竞价的拍卖仿生。它适用于买方对商品价值权衡呈现非加性的情况。

联邦学习

大多数现有的联邦学习框架都是假设各参与方都是诚实乐观的,各移动设备都会无条件的参与联邦学习,但由于参与者都是理性的,在联邦学习模型训练过程中,移动设备会产生大量计算和通信开销,自私的移动设备不愿意参与模型训练,这将降低联邦学习性能。此外,由于联邦学习中任务发布者不知道参加模型训练各数据拥有者的数据质量,以及来自移动端的可计算资源量大小,存在信息不对称现象。
流程:
本地接入点采集移动终端的任务请求,并将采集的任务请求发布给模型训练终端。模型训练终端根据自身存储的数据训练本地模型,并把训练好的本地模型上传给本地接入点聚合。本地接入点和模型训练终端迭代地训练全局模型,然后将训练好的全局模型反馈给任务请求终端。最后,任务请求终端支付相应的报酬,以补偿模型训练过程中的资源消耗。

考虑任务请求终端和模型聚合端之间的信息非对称性,将模型训练方作为卖家,任务请求方作为买方,本地接入点充当拍卖师,引导买卖双方根据联邦学习性能需求以及可用资源出价,并根据买卖双方的出价进行最优模型训练资源分配和定价,以实现最大化联邦学习市场的总效用。

随机博弈(马尔可夫博弈)

随机博弈的主要元素包括状态集、行动集、状态转移函数、支付函数等. 每一阶段参与人的支付由当前状态和参与人行动共同决定, 博弈根据当前状态和参与人行动以一定概率过渡到下一状态. 随机博弈从定义上属于动态博弈, 然而相较传统博弈形式, 随机博弈擅长描述多主体间较大行动空间和较长规划周期的博弈问题, 这使得随机博弈在信息安全领域有较为广泛的应用. 尤其是随机博弈与网络模型以及学习算法的结合使得随机博弈模型十分适合处理网络安全中复杂的动态问题。

演化博弈

演化博弈论不再视人模型为超级理性的博弈方,而是认为人类通常是通过试错的方法达到博弈均衡的。
传统的博弈理论认为每个人都是理性的,并且理性和博弈结构是共同知识;只要知道博弈的结构,就可以预测均衡结果。

物联网

物联网中存在海量数据,并且大多数的物联网应用都采取无线通信方式。物联网感知层相比于传统计算机更容易受到攻击,且感知层设备资源有限,很难实施耗能大的安全系统。
而且,传感器网络分布广泛却缺乏监管,很难保证每个节点的安全。

协和谬误

在博弈中当一件事情参与者已经投入了一定的成本和精力之后,发现进行下去的结果是不易进行下去的低效率,低回报时,却因各种因素而不停止事件的进行,继续做这件事,此时便是博弈论中的“协和谬误”

对抗性攻击

数据和模型更新过程中中毒
模型窃取
对用户隐私数据的推理攻击

差分隐私

要获得良好的信息服务,就需要牺牲部分隐私为代价,用户和服务提供者存在一种合作和竞争的关系。
差分隐私是一种不依赖于攻击者背景知识的隐私保护技术。相比于传统的密码学技术,差分隐私具有成本低、算法简单,并且可以对用户的隐私信息提供语义安全的特点,因此差分隐私很快成为隐私保护领域的研究热点。差分隐私具有两个最重要的特点:
1.严格定义了攻击者的背景知识:除了特定某一条记录,攻击者知晓数据中所以信息
2.拥有严谨的统计学模型

参考文献

你可能感兴趣的:(博弈论,激励机制,联邦学习,差分隐私,纳什均衡)