ICLR2023 联邦学习论文合集

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

国际表征学习大会（International Conference on Learning Representations，简称 ICLR）是深度学习领域的顶级会议，关注有关深度学习各个方面的前沿研究，在人工智能、统计和数据科学领域以及机器视觉、语音识别、文本理解等重要应用领域中发布了众多极其有影响力的论文。

AMiner通过AI技术，对 ICLR2023 收录的会议论文进行了分类整理，今日分享的是联邦学习主题论文，共34篇，我们在这里展示十篇最受欢迎的论文，欢迎下载收藏！

1.Towards Understanding and Mitigating Dimensional Collapse in Heterogeneous Federated Learning

作者：Yujun Shi,Jian Liang,Wenqing Zhang,Vincent Y. F. Tan,Song Bai

链接：https://www.aminer.cn/pub/633ba44890e50fcafdfe4c53/

AI综述（大模型驱动）：Federated学习旨在通过对不同的客户进行联合训练来训练模型。然而,这种学习范式的一个主要挑战是数据异构问题,这指的是各种客户之间的局部数据分布之间的不一致。为了解决这个问题,我们首先研究了如何将数据异构影响全球集成模型的表示。令人惊讶的是,当每个客户都有类似的现象时,集成模型的表示倾向于位于低维空间,而不是室内空间。此外,我们观察到每个客户中都可以看到一个相似的现象,并得出结论说,集成模型的层次崩溃归功于局部模型。此外,我们理论上分析了梯度流水运动来揭示如何导致局部模型的层次崩溃。

2.Personalized Federated Learning with Feature Alignment and Classifier Collaboration

作者：Jian Xu,Xinyi Tong,Shao-Lun Huang

链接：https://www.aminer.cn/pub/63dcdb422c26941cf00b6088/

AI综述（大模型驱动）：数据异构是融合学习中最困难的问题之一。这激励了各种方法学习参与客户的个性化模型。本文提出了一种新的基于深度神经网络的深层神经网络中的数据异构方法。我们的方法使用集成特征表示和学习每个顾客的定制分类器头。然而,以前的工作并没有在局部表示学习过程中利用全球知识,而且忽略了本地分类器的细粒度合作,这限制了模型泛化能力。在这项工作中,我们通过利用全局语义知识来学习一个更好的表示来明确地进行局部域特征对齐。此外,我们将组合权重作为组合重量的函数,并提取了一个计算优化问题来估计最优组合权重。最后,针对各种不同数据场景的广泛评估结果证明了该方法的有效性。

3. FedSpeed: Larger Local Interval, Less Communication Round, and Higher Generalization Accuracy 

作者：Yan Sun,Li Shen,Tiansheng Huang,Liang Ding,Dacheng Tao

链接：https://www.aminer.cn/pub/63dcdb422c26941cf00b6548/

AI综述（大模型驱动）：Federated学习(FL)是一种新的分布式机器学习框架,该框架通过多达数个局部设备和数据隐私保护的大型全球传感器进行训练。其性能受到了局部不变优点的引入以及客户超负荷运行的影响。在本文中,我们提出了一种新并实用的方法,即联邦速度,该方法有效地减少了这些问题造成的损害。具体地说,联邦速度应用于当前本地更新时,以有效地减少先验短语所带来的偏差,作为衡量局部一致性的必需节点。此外,联邦速度与邻近地区的曲面曲线相结合,将曲面曲线与邻近地区的曲面曲线合并,从而消除了局部过度校正的问题。我们的理论分析表明,通用路径“T”和“K”之间的交互轮廓相关。

4.Towards Addressing Label Skews in One-Shot Federated Learning

作者：Yiqun Diao,Qinbin Li,Bingsheng He

链接：https://www.aminer.cn/pub/63dcdb422c26941cf00b65f3/

AI综述（大模型驱动）：Federated学习(FL)一直是非常受欢迎的研究领域,在该领域的许多客户共享了他们的本地生成数据。然而,虽然标记扭曲是一种普遍的现象,但现有的一次射击 FL方法无法产生有效的全球模型。由于每个团体的少量类,局部模型将数据从看不见类的类划分为看到类,这导致了非常不效率的全球模型从投票中获胜。为了解决一个靶场的标记扭曲问题,我们提出了一种叫做fedov的新算法,该算法通过删除原始特征并添加它们作为敌对学习来提高测试精度。我们的广泛的研究表明,与各种标记扭曲设置中的最新先进方法相比,fedov可以显著提高测试准确性。

5. Generalization Bounds for Federated Learning: Fast Rates, Unparticipating Clients and Unbounded Losses

作者：Xiaolin Hu,Shaojie Li,Yong Liu

链接：https://www.aminer.cn/pub/63dcdb422c26941cf00b6448/

AI综述（大模型驱动）：本文给出了《联邦学习》中通用概率推理的理论分析。它捕捉了分布的异构性和相关性。特别地,我们假设将数据集从语料库中抽样。在两个层次的分布框架下,我们定义了不参与培训的客户通用概率错误。我们首先表明,对于不参与培训的顾客,通用概率错误可以被参与概率错误和客户抽样造成的竞争误差束缚起来。 

6.Better Generative Replay for Continual Federated Learning

作者：Daiqing Qi,Handong Zhao,Sheng Li

链接：https://www.aminer.cn/pub/63dcdb422c26941cf00b64a8/

AI综述（大模型驱动）：Federated学习旨在开发一个通过通信从分布式客户中学习的服务器。然而,现有的工作主要集中于在一个单个任务和静态数据集上进行联合学习的问题上。本文介绍了持续的联邦学习(CFL)问题,其中顾客会增加执行新任务并保留历史数据。然而,当试图直观地适应CFL模型时,我们失败了。为了解决这个问题,我们提出了一种简单的但有效的联邦学习方法,即模型巩固。实验结果证实了我们的方法明显优于基线。 

7.The Best of Both Worlds: Accurate Global and Personalized Models through Federated Learning with Data-Free Hyper-Knowledge Distillation

作者：Huancheng Chen,Chaining Wang,Haris Vikalo

链接：https://www.aminer.cn/pub/63dcdb422c26941cf00b621d/

AI综述（大模型驱动）：我们提出了一种新的基于知识的高效全局学习算法,该算法使用知识提取(KD)来训练局部模型。特别是,每个客户从服务器中提取和发送数据,并将其传递给顾客,以支持本地培训。与其他基于KD的方法不同,FDHKD不会依赖于一个公共数据集,也不会在服务器上部署生成模型。我们分析了强预测的结合以及各种场景下的实验,证明了FDHKD可以显著提高个性化和全局模型的性能。

8. Federated Learning from Small Datasets

作者：Michael Kamp,Jonas Fischer,Jilles Vreeken

链接：https://www.aminer.cn/pub/615fb6f25244ab9dcb9c3f42/

AI综述（大模型驱动）：统一学习允许多个参与者共享局部模型的资源。这使得机器学习的应用程序在固有的分布式、无监督数据的情况下能够有效地运行。我们提出了一种新的方法,该方法将局部模型和本地模型的组块结合起来。这些组块将每个局部模型揭示为一个本地数据集的静态链条,从而产生更高效的训练。这使得在非常小的数据集上进行培训,如医院病人数据,可以获得更好的训练效率和隐私优点。 

9. Federated Nearest Neighbor Machine Translation

作者：Yichao Du,Zhirui Zhang,Bingzhe Wu,Lemao Liu,Tong Xu,Enhong Chen

链接：https://www.aminer.cn/pub/63dcdb422c26941cf00b63d1/

AI综述（大模型驱动）：为了保护用户的隐私和符合法律法规,我们提出了一种新的联邦邻居机器翻译框架。该框架利用了基于一轮记忆的学习来提高模型之间的交互能力。整个方法将公共NMT模型训练在可扩展的数据上,并将其集成到所有客户的所有外部数据库中,形成最终的FedNN模型。提出了一种两阶段数据存储加密策略,以实现隐私保护。

10. FiT: Parameter Efficient Few-shot Transfer Learning for Personalized and Federated Image Classification

作者：Aliaksandra Shysheya,John Bronskill,Massimiliano Patacchiola,Sebastian Nowozin,Richard E Turner

链接：https://www.aminer.cn/pub/62afe5495aee126c0f668ba7/

AI综述（大模型驱动）：现代深度学习系统越来越多被部署在像模特生成和联邦学习等场景中。在这项工作中,我们开发了一种改进的FiLM转换(FiT),该方法满足了这些要求。它使用基于一根固定的核树上预定义的朴素贝叶斯分类器作为基线,并在一个带有特征的图表数据集上进行训练。通过冗余畸形调优协议对网络进行编码,从而获得比最先进Big Transfer(BIT)算法更高质量的分类精度。最后,我们在分布式低射击应用中的参数效率方面进行了实验,其中包括模型个人化和联邦学习。

提

醒

点击“阅读原文”查看论文详情页！

往期精彩文章推荐

记得关注我们呀！每天都有新知识！

 关于AI TIME 

AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。

迄今为止，AI TIME已经邀请了1000多位海内外讲者，举办了逾550场活动，超600万人次观看。

我知道你

在看

哦

~

点击 阅读原文 查看论文详情页！