Non-IID

从隐私悖论到隐私工程

例如，联邦学习与大模型的结合目前还面临着许多挑战，包括安全威胁及防御、隐私威胁与增强、效率问题以及处理非独立同分布（Non-IID）数据等问题。这些问题可能会对用户的隐私造成潜在的威胁。

半吊子全栈工匠·2023-11-13 11:49

【论文阅读笔记】Shielding collaborative learning:Mitigating poisoning attacks through client-side detection.

现有的防御方法在non-iid环境下表现不佳

MiaZX·2023-11-11 22:24

【联邦学习】联邦学习量化——non-iid数据集下的仿真

文章目录改进项目背景量化函数的改进non-iid数据集的设置Fedlab划分数据集的踩雷改进项目背景在前面的项目中，虽然对联邦学习中，各个ue训练出来的模型上传的参数进行了量化，并仿真的相关结果。

QinZheng7575·2023-10-11 00:32

联邦学习

目录联邦机器学习（Federatedmachinelearning）联邦学习重要节点及里程碑举例说明名词解释迭代模型平均(iterativemodelaveraging)：非独立同分布（non-IID）

Glory Man-United·2023-09-23 13:00

FedReID: 联邦学习在行人重识别上的首次深入实践

数据异构性：数据非独立分布(non-IID)和各端数据量不同。这是篇来自ACMMM20Oral的论文，主要通过构建一个b

闭眼卖布·2023-06-16 19:21

FedAvg--联邦学习最基础算法

分布式机器学习采用client-server架构(或master-slave架构),联邦学习则不一样，它需要考虑系统异构性统计异构性(non-IID)数据隐私FedAvg兼顾了通信开销和收敛率问题，具体过程如下

欧阳AI锋·2023-02-04 13:09

FedReID: 联邦学习在行人重识别上的首次深入实践

数据异构性：数据非独立分布(non-IID)和各端数据量不同。这是篇来自ACMMM20Oral的论文，主要通过构建一个b

闭眼卖布·2023-01-28 20:43

划分非独立同分布（Non-IID）数据集

因此我们在做实验时，需要模拟真实的场景，对一个数据集进行Non-IID的划分。这里参考网上的资料，按Dirichlet分布划分Non-IID数据集。

游星凌·2023-01-17 09:59

怎么实现联邦学习中的Non-IID？

联邦学习的一大特点就是数据分布是Non-IID，Non-IID意为非独立同分布。那么怎么在实验中实现non-iid呢？这是我这篇博客想讨论的问题。

周杰伦今天喝奶茶了吗·2023-01-17 09:56

联邦学习中的non-iid总结

最近研究联邦学习（federatedlearning，FL）中的non-iid的解决办法时遇到瓶颈，写成博客将最近的工作总结一下，希望有大佬看到这篇博客不吝赐教。

海边的西西弗斯·2023-01-17 09:22

论文分享：「FED BN」使用LOCAL BATCH NORMALIZATION方法解决Non-iid问题

FEDERATEDLEARNINGONNON-IIDFEATURESVIALOCALBATCHNORMALIZATION》，这篇论文主要探讨了使用LOCALBATCHNORMALIZATION方法解决Non-iid

隐语SecretFlow·2023-01-17 09:51

联邦学习——用data-free知识蒸馏处理Non-IID

《Data-FreeKnowledgeDistillationforHeterogeneousFederatedLearning》ICML2021最近出现了利用知识蒸馏来解决FL中的用户异构性问题的想法，具体是通过使用来自异构用户的聚合知识来优化全局模型，而不是直接聚合用户的模型参数。然而，这种方法依赖于proxydataset，如果没有这proxydataset，该方法便是不切实际的。此外，集成

联邦学习小白·2023-01-10 11:41

联邦学习中常见的Clients数据Non-IID非独立同分布总结

联邦学习写在前面联合概率分布联邦学习中客户端数据Non-IID分布的五种类型：类型1：Featuredistributionskew(convariateshift)类型2：Labeldistributionskew

白马金羁侠少年·2022-12-24 07:30

非独立同分布大数据

大数据的应用应该在：有限资源的情况下，快速开展非独立同分布大数据数据总是依赖的，分布发生变化=》适应大数据发展趋势算法，思维|—–|–Non-IID进展|–概念|–数据表达|–离散|–K-Means|–

banrieen·2022-12-24 07:57

学习笔记 | 2023 AAAI 对抗性权值扰动改善图神经网络的泛化性能

论文地址：AdversarialWeightPerturbationImprovesGeneralizationinGraphNeuralNetwork关键词：WT-AWP、Non-IID、鲁棒GNN、

叶庭云·2022-12-14 14:24

联邦学习---论文汇总笔记（十四）

2.在Non-iid下导致不同设备的更新冲突，训练轮之间明显震荡，收敛速度变慢。创新在指定时刻（位置），克隆全局模型，自适应更新全局的高分子模型，删除

35岁北京一套房·2022-11-26 06:43

联邦学习non-iid用户数据采样python实现

联邦学习non-iid用户数据采样python实现问题描述解决办法问题描述联邦学习non-iid用户数据采样解决办法直接上代码importosfromscipy.ioimportloadmatimportnumpyasnpfromcollectionsimportCounterimportpandasaspdimporttorchfromsklearn.model_selectionimportt

甜度超标°·2022-11-23 21:37

Communication-Efficient Learning of Deep Networks from Decentralized Data

对不平衡、non-IID的数据也更合适。主要提出了FedSGD和FedAvg算法。FedAvg通信代价要小于FedSGD实验中使用了MNIST数字识别和语言模型，

柿子_@·2022-11-23 05:28

【pytorch】FL联邦学习数据集的划分+non-iid数据集的划分

目录问题来源：iid划分（随即划分数据集）1torch.utils.data.Subset2手动划分3根据每个client的索引进行数据集划分3按照non-i.i.d.划分3.2dirichlet分布的non-iid

学渣渣渣渣渣·2022-11-21 01:08

【文献阅读】关于异构联邦学习的调查（综述）

参考文献：ASurveyonHeterogeneousFederatedLearning1联邦学习中的异构问题数据异构特征空间标签空间ID空间统计异构一个数据集中的数据可能是non-iid的解决方法：个性化

牛了个牛·2022-11-20 18:53

论文笔记 SCAFFOLD Stochastic Controlled Averaging for Federated Learning

数据异构（non-IID）时，FedAvg会遭受“客户端漂移”，从而导致收敛不稳定和缓慢。解决方案：新算法SCAF

Limeym·2022-11-20 10:26

Data-Free Knowledge Distillation for Heterogeneous Federated Learning论文阅读+代码解析

论文地址点这里一.介绍联邦学习具有广阔的应用前景，但面临着来自数据异构的挑战，因为在现实世界中用户数据均为Non-IID分布的。在这样的情况下，传统的联邦学习算法可能会导致无法收敛到各个客户端的数据。

编程龙·2022-10-26 19:18

Personalized Cross-Silo Federated Learning on Non-IID Data 论文解析

一.介绍使用非IID数据进行个性化跨思洛联盟学习的根本瓶颈是错误地认为一个全局模型可以适合所有客户。基于此，在本文中，作者通过一种新颖的消息传递机制来解决具有挑战性的个性化跨思洛联盟学习问题，该机制通过迭代鼓励相似客户进行更多协作，自适应地促进客户机之间的潜在成对协作。二.相关工作全局联邦学习训练一个单一的全局模型以最小化所有客户数据的经验损失函数。然而当不同客户端之间的数据不是IID时，很难收敛

编程龙·2022-09-28 09:57

【科普】半监督学习的概述与思考，及其在联邦学习场景下的应用

在联邦学习中，由于数据的非独立同分布特性（Non-IID）导致了每个客户端（数据拥有者）自身的数据可能存在噪声、标注不完全、数据量不够等等情况，同时我们从隐私安全的方面考虑到只要使用数据，就有可能存在隐私泄露的

我爱计算机视觉·2022-08-13 07:53

论文分享：「FED BN」使用LOCAL BATCH NORMALIZATION方法解决Non-iid问题

FEDERATEDLEARNINGONNON-IIDFEATURESVIALOCALBATCHNORMALIZATION》，这篇论文主要探讨了使用LOCALBATCHNORMALIZATION方法解决Non-iid

·2022-08-09 17:20

联邦学习：按混合分布划分Non-IID样本

我们在博文《联邦学习：按病态独立同分布划分Non-IID样本》中学习了联邦学习开山论文[1]中按照病态独立同分布（PathologicalNon-IID）划分样本。

orion-orion·2022-03-10 21:00

联邦学习中的数据异构性问题综述

摘要联邦学习中的数据异构性问题主要是由参与训练的各客户端的数据虽独立分布但不服从同一采样方法（Non-IID）所导致的，这一问题也导致模型精度的严重下降。

LeoJarvis·2022-03-04 07:57

SCAFFOLD: Stochastic Controlled Averaging for Federated Learning

背景传统的联邦学习在数据异构(non-iid)的场景中很容易产生“客户漂移”(client-drift)的现象，这会导致系统的收敛不稳定或者缓慢贡献提出了考虑到clientsampling和数据异构的一个更接近的收敛边界证明即便没有

クズの本懐·2022-03-04 07:19

联邦学习：按Dirichlet分布划分Non-IID样本

我们在《Python中的随机采样和概率分布(二)》介绍了如何用Python现有的库对一个概率分布进行采样，其中的dirichlet分布大家一定不会感到陌生。该分布的概率密度函数为\[P(\bm{x};\bm{\alpha})\propto\prod_{i=1}^{k}x_{i}^{\alpha_{i}-1}\\\bm{x}=(x_1,x_2,...,x_k),\quadx_i>0,\quad\su

orion-orion·2022-02-15 19:00

论文阅读：Personalized Federated Learning with Moreau Envelopes

NguyenH.Tran,TuanDungNguyen核心点个性化联邦学习算法，pFedMe阅读日期2021.5.25影响因子页数23引用数引用内容总结文章主要解决的问题及解决方案：主要针对联邦学习中客户端不平衡（non-iid

三金samkam·2021-05-30 17:04

FEDAT:A Communication-Efficient Federated Learning Method With Asynchronous Tires Under Non-IID Data

背景目前的联邦学习架构存在着以下问题：流浪者问题(stragglerproblem)：由于数据的异构和通信效率的不一致，中央服务器需要等待最慢的那个设备把数据返回之后才能进行下一轮的训练大量的设备需要将自身的模型参数上传给服务器，这构成了系统的传输瓶颈并且现有的很多联邦学习算法不能同时解决上面两个问题，一些研究者基于传统的联邦学习算法提出了异步训练的新训练架构，但是这种新的异步训练方法往往会造成更

クズの本懐·2020-12-11 22:51

Federated Learning with Non-IID Data

FederatedLearningwithNon-IIDData论文中分析了FedAvg算法在Non-IID数据时，准确率下降的原因。并提出共享5%的数据可提高准确率。

GJ_007·2020-08-02 21:57

Federated Learning with Non-IID Data 论文笔记

FederatedLearningwithNon-IIDData论文笔记原文翻译参考：https://blog.csdn.net/GJ_007/article/details/104632718论文通过实验验证了，在non-IID

GJ_007·2020-08-02 21:25

（翻译）相关差分隐私：将信息隐藏在 non-IID 数据集中（一）

原文来自朱天清老师的《CorrelatedDifferentialPrivacy:HidingInformationinNon-IIDDataSet》摘要：（差分隐私很流行，现有的研究主要在一个数据集上，现实生活中，很少有数据集是完全独立的。不同记录之间的关系被称为相关信息，数据集被称为相关数据集。本文提出了一个高效率的相关差分隐私解决方案并设计了一个相关数据发布机制，以此降低相关数据集采用差分隐

Enjoyist·2020-08-02 21:42

Federated Learning with Non-IID Data

前言一篇关于FederatedLearningwithNon-IIDData的论文，主要探讨了FederatedLearning在每个clients的数据都是Non-IID的情况下，性能如何，以及如何改进

de_la_prada·2020-06-29 02:34

Federated Learning with Non-IID Data

FederatedLearningwithNon-IIDDataIID:独立同分布(idependentlyandidenticallydistributed,IID)论文链接Abstract联合学习使资源受限的边缘计算设备（例如移动电话和IoT设备）能够学习共享的预测模型，同时将训练数据保持在本地。这种去中心化的训练模型方法提供了隐私，安全性，监管和经济利益。在这项工作中，我们专注于本地数据为非

至简1995·2020-06-26 11:01

Robust and Communication-Efficient Federated Learning From Non-i.i.d. Data 论文阅读笔记

本地训练模型，将训练得到的模型更新或者模型发送到服务端进行聚合.传输数据的比特数为2Challenge在介绍压缩传输数据量的方法前,我们首先介绍会在联邦学习压缩传输数据方面的挑战.数据分布之间的不平衡和non-iid

sxx01·2020-06-25 21:20

推荐频道

Non-IID

从隐私悖论到隐私工程

【论文阅读笔记】Shielding collaborative learning:Mitigating poisoning attacks through client-side detection.

【联邦学习】联邦学习量化——non-iid数据集下的仿真

联邦学习

FedReID: 联邦学习在行人重识别上的首次深入实践

FedAvg--联邦学习最基础算法

FedReID: 联邦学习在行人重识别上的首次深入实践

划分非独立同分布（Non-IID）数据集

怎么实现联邦学习中的Non-IID？

联邦学习中的non-iid总结

论文分享：「FED BN」使用LOCAL BATCH NORMALIZATION方法解决Non-iid问题

联邦学习——用data-free知识蒸馏处理Non-IID

联邦学习中常见的Clients数据Non-IID非独立同分布总结

非独立同分布 大数据

学习笔记 | 2023 AAAI 对抗性权值扰动改善图神经网络的泛化性能

联邦学习---论文汇总笔记（十四）

联邦学习non-iid用户数据采样python实现

Communication-Efficient Learning of Deep Networks from Decentralized Data

【pytorch】FL联邦学习 数据集的划分+non-iid数据集的划分

【文献阅读】关于异构联邦学习的调查（综述）

论文笔记 SCAFFOLD Stochastic Controlled Averaging for Federated Learning

Data-Free Knowledge Distillation for Heterogeneous Federated Learning论文阅读+代码解析

Personalized Cross-Silo Federated Learning on Non-IID Data 论文解析

【科普】半监督学习的概述与思考，及其在联邦学习场景下的应用

论文分享：「FED BN」使用LOCAL BATCH NORMALIZATION方法解决Non-iid问题

联邦学习：按混合分布划分Non-IID样本

联邦学习中的数据异构性问题综述

SCAFFOLD: Stochastic Controlled Averaging for Federated Learning

联邦学习：按Dirichlet分布划分Non-IID样本

论文阅读：Personalized Federated Learning with Moreau Envelopes

FEDAT:A Communication-Efficient Federated Learning Method With Asynchronous Tires Under Non-IID Data

Federated Learning with Non-IID Data

Federated Learning with Non-IID Data 论文笔记

（翻译）相关差分隐私：将信息隐藏在 non-IID 数据集中（一）

Federated Learning with Non-IID Data

Federated Learning with Non-IID Data

Robust and Communication-Efficient Federated Learning From Non-i.i.d. Data 论文阅读笔记

非独立同分布大数据

【pytorch】FL联邦学习数据集的划分+non-iid数据集的划分