FATE联邦学习

ECCV 2022 | FedX: 在无监督联邦学习中进行知识蒸馏

©PaperWeekly原创·作者|张成蹊单位|Freewheel机器学习工程师研究方向|自然语言处理论文的立意是在联邦学习过程中，结合对比学习，用局部与全局的两种蒸馏方式来无监督地学习样本的向量表示。
PaperWeekly·2023-01-12 08:38

想详细了解风头正劲的联邦学习吗？这篇最强综述论文满足你

点击上方“深度学习技术前沿”，选择“星标”公众号资源干货，第一时间送达联邦学习（FederatedLearning，FL）指多个客户端在一个中央服务器下协作式地训练模型的机器学习设置，该设置同时保证训练数据去中心化
深度学习技术前沿·2023-01-12 06:13

【技术博客】面向大规模的联邦学习：系统设计

摘要联邦学习是一种分布式的机器学习方法，可以对大量分散在移动设备上的数据进行训练，而在实现时，则会遇到许多问题。因此，如何设计一个系统这个问题就会自然而然产生。
MoModel·2023-01-12 06:12

联邦学习论文阅读二：PRECAD

联邦学习论文阅读二：PRECADPRECAD:Privacy-PreservingandRobustFederatedLearningviaCrypto-AidedDifferentialPrivacy
一步一个脚印ッ·2023-01-12 06:09

手写数字识别之联邦学习

TFF的开发旨在促进联邦学习（FL）的开放式研究和实验，该方法是一种机器学习方法，客户共享一个全局模型并共同训练，但是客户的训练数据保留在本地。
baidu_35560935·2023-01-12 06:06

联邦学习 (FL) 中常见的3种模型聚合方法的 Tensorflow 示例

联合学习(FL)是一种出色的ML方法，它使多个设备（例如物联网(IoT)设备）或计算机能够在模型训练完成时进行协作，而无需共享它们的数据。“客户端”是FL中使用的计算机和设备，它们可以彼此完全分离并且拥有各自不同的数据，这些数据可以应用同不隐私策略，并由不同的组织拥有，并且彼此不能相互访问。使用FL，模型可以在没有数据的情况下从更广泛的数据源中学习。FL的广泛使用的领域如下：卫生保健物联网(IoT
deephub·2023-01-12 06:34

深度学习/联邦学习随笔一PyTorch基础知识

深度学习/联邦学习随笔一PyTorch基础知识Tensor（张量）PyTorch里面处理的最基本的操作对象就是Tensor，Tensor是张量的英文，表示的是一个多维的矩阵，比如零维就是一个点、一维就是向量
沉睡中的主角·2023-01-12 01:01

联邦学习FedAvg算法复现任务

本文目录1.准备工作2.分割数据集3.数据节点类4.CNN模型类5.利用FedAvg算法训练6.client训练函数7.模型评估函数8.模型训练结果附录：关键函数记录**torch.nn.Module.load_state_dict****nn.utils.clip_grad_norm_**torch.nn.Embedding1.准备工作FedAvg算法过程如下：数据集介绍：CIFAR-10是一个
梦码城·2023-01-11 19:37

基于cifar10数据集的FedAvg联邦学习任务

本文目录1.cifar10数据集介绍2.联邦学习介绍3.客户端CNN模型3.FedAvg实现运行结果出自论文《Communication-EfficientLearningofDeepNetworksfromDecentralizedData
梦码城·2023-01-11 19:36

联邦学习-FedAvg、FedAMP论文解读

文章目录联邦学习-FedAvg、FedAMP论文解读FedAvg解读解决问题算法原理实验结果优缺点FedAMP解读解决问题FedAMP算法原理HeurFedAMP算法原理实验结果优缺点联邦学习-FedAvg
‘Atlas’·2023-01-11 19:06

联邦学习(FL，Federated Learning) 之FedAvg算法

Communication-EfficientLearningofDeepNetworksfromDecentralizedData论文地址：[1602.05629]Communication-EfficientLearningofDeepNetworksfromDecentralizedData(arxiv.org)FL主要瓶颈：1.通信速率不稳定，且可能不可靠2.聚合服务器的容量有限，同时与s
bit_100·2023-01-11 19:36

联邦学习（二）：卷积神经网络通过底层 API 实现 FedAvg 联邦算法

文章目录1、导入需要的库2、导入并处理数据3、定义批次数据类型4、定义模型类型4.1得到每一层神经网络的参数形状4.2得到模型类型4.3建立模型4、定义计算一个批次损失的函数5、定义通过一个批次的损失更新网络参数的函数6、定义通过一个客户端的损失更新网络参数的函数7、定义通过所有客户端的损失更新网络参数的函数1、导入需要的库importcollectionsimportnumpyasnpimpor
cofisher·2023-01-11 19:36

【联邦学习】FedAvg 过程简介

文章目录一、FedAvg简介二、联邦训练过程参考链接一、FedAvg简介FedAvg是一种分布式框架，允许多个用户同时训练一个机器学习模型。在训练过程中并不需要上传任何私有的数据到服务器。本地用户负责训练本地数据得到本地模型，中心服务器负责加权聚合本地模型从而得到全局模型，经过多轮迭代后最终得到一个趋近于集中式机器学习结果的模型，有效地降低了传统机器学习源数据聚合带来的许多隐私风险。二、联邦训练过
想变厉害的大白菜·2023-01-11 19:06

基于 TensorFlow Federated 的 X 射线图像分类用于 COVID-19 识别

这段时间学习了联邦学习的一些知识，完成了基于TensorFlowFederated实现的X射线图像分类用于COVID-19识别的一个例子，与大家分享。
AI Medicine·2023-01-11 15:07

联邦学习 (FL) 中常见的3种模型聚合方法的 Tensorflow 示例

联合学习(FL)是一种出色的ML方法，它使多个设备（例如物联网(IoT)设备）或计算机能够在模型训练完成时进行协作，而无需共享它们的数据。“客户端”是FL中使用的计算机和设备，它们可以彼此完全分离并且拥有各自不同的数据，这些数据可以应用同不隐私策略，并由不同的组织拥有，并且彼此不能相互访问。使用FL，模型可以在没有数据的情况下从更广泛的数据源中学习。FL的广泛使用的领域如下：卫生保健物联网(IoT
·2023-01-11 11:13

The card of fate（命运之牌）序章

序章清晨，空气中飘着一层薄薄的雾霭，如同一段绵柔的轻纱，将玫尔河这位美人的面庞轻轻遮住。在距离河边的不远处，立着几个人影，投过薄雾看去，他们身上的红色军装和胸口上的金色狮子纹章格外醒目。在河中，也有几个男人，他们在河中踉踉跄跄地站着，吃力地维持着自己身体的平衡。他们身上的朴素布衣与他们对面的士兵形成了鲜明的对比，显然，他们只是平民百姓。虽然已经是三月中旬了，但河水依旧冰冷刺骨，虽然他们的鞋子、裤子
龙风座·2023-01-10 20:19

The card of fate（命运之牌）预告篇

“王选之争”，一位神明组织的一场游戏，最后的胜者，神明将会实现他的一个愿望。从上古时代开始，“王选之争”就已经打响。从最原始的野兽，到今天的人类，被选中的野兽或是人类在游戏中不断的杀戮，直到自己的前方已经没有敌人，直到自己的脚下全都是森白的枯骨。胜利者，向神明许愿，为了种族的延续，为了战争的胜利，亦或者，为了自己那腐朽的欲望。而现在，征程的号角又将再度吹响。胜利者，究竟回事谁呢？是绝望的片翼之鸟…
龙风座·2023-01-10 17:26

联邦学习——用data-free知识蒸馏处理Non-IID

《Data-FreeKnowledgeDistillationforHeterogeneousFederatedLearning》ICML2021最近出现了利用知识蒸馏来解决FL中的用户异构性问题的想法，具体是通过使用来自异构用户的聚合知识来优化全局模型，而不是直接聚合用户的模型参数。然而，这种方法依赖于proxydataset，如果没有这proxydataset，该方法便是不切实际的。此外，集成
联邦学习小白·2023-01-10 11:41

FedMD: Heterogenous Federated Learning via Model Distillation论文笔记

  本文提出使用迁移学习和知识蒸馏开发了一个联邦学习框架FedMD，此框架允许不同的客户端根据其计算能力设计不同的网络结构，并且保护数据集的隐私安全和模型的隐私安全条件下联合训练出一个模型。
Zoran_卓·2023-01-10 11:41

数据不动模型动-联邦学习的通俗理解与概述

关注公众号，发现CV技术之美联邦学习是一种机器学习设定，其中许多客户端（例如：移动设备或整个组织）在中央服务器（例如：服务提供商）的协调下共同训练模型，同时保持训练数据的去中心化及分散性。
我爱计算机视觉·2023-01-10 11:40

【论文阅读】Device Sampling for Heterogeneous Federated Learning: Theory, Algorithms, and Implementation

异构联邦学习的设备采样:理论，算法，实现一、文章介绍二、背景和目的三、建模1、边缘设备模型2、网络拓扑3、联邦学习模型4、建模总结四、方法1、数据分流2、设备采样（1）核心思想（2）GCN训练过程3、联邦学习训练过程五
九九喵99·2023-01-10 11:40

论文阅读笔记--Federated Continual Learning with Weighted Inter-client Transfer

本文提出了一种新的场景，联邦学习（FL）的每个client各自执行一系列的持续学习（ContinualLearning）任务，为了说明这个场景的实际意义，文章给出了这样一个场景：若干个医院要通过一个联邦学习框架交流自己的知识
Shawn2134123·2023-01-10 11:10

论文阅读笔记--Data-Free Knowledge Distillation for Heterogeneous Federated Learning（FEDGEN）

链接：https://arxiv.org/abs/2105.10056v2这篇文章发表在ICML2021，讲的是如何解决联邦学习中的数据异构问题。
Shawn2134123·2023-01-10 11:09

隐私计算--35--联邦学习安全防御之同态加密

一、Paillier半同态加密算法同态加密又可以分为全同态加密、些许同态加密和半同态加密三种形式。这其中，由于受到性能等因素的约束，当前在工业界主要使用半同态加密算法。Paillier即属于半同态加密算法，其并不满足乘法同态运算，虽然Paillier算法不是全同态加密的，但是与全同态加密算法（FHE）相比，其计算效率大大提升，因此在工业界被广泛应用。我们以x表示明文，以[[x]]表示其对应的密文，
武天旭·2023-01-09 15:47

转载-联邦学习 - 基础知识+白皮书+杨强教授讲座总结+同态加密+ 差分隐私

原文链接：https://blog.csdn.net/qq_41409438/article/details/102213895联邦学习兴起原因概念分类横向联邦学习纵向联邦学习联邦迁移学习优势系统架构联邦学习与现有研究的区别联邦学习与差分隐私理论的区别联邦学习与分布式机器学习的区别联邦学习与联邦数据库的关系联邦学习的最新发展及应用
nanoleak coding·2023-01-09 15:45

纵向联邦学习原理介绍——LR,XGBoost,SplitNN

这是我的学习笔记，若有不足和错误之处，欢迎交流和指正，谢谢！联系方式：[email protected]文章目录1.Introduction2.Preliminaries2.1VFL加密方法2.2VFL平台3.VFL逻辑回归4.VFLXGBoost4.1XGBoost4.2SecureBoost5.SplitNN5.1Pipeline5.2Aggregation推荐阅读：[1]LabelInferenc
lrchang·2023-01-09 15:45

联邦学习在保护隐私方面的三大技术

联邦学习在保护隐私方面的三大技术联邦学习在保护隐私方面的三大技术：差分隐私（DifferentialPrivacy）、同态加密（HomomorphicEncryption）、隐私保护集合交集（PrivateSetIntersection
学而时习之！！·2023-01-09 15:14

同态加密与联邦学习

联邦学习通过加密机制下的参数交换方式保护用户数据隐私，加密手段包括同态加密等。
一直在路上ing·2023-01-09 15:44

【联邦学习实战】基于同态加密和差分隐私混合加密机制的FedAvg

联邦学习实战——基于同态加密和差分隐私混合加密机制的FedAvg前言1.FedAvg1.1getData.py1.2Models.py1.3client.py1.4server.py1.5性能评估1.5.1Non-IID
HERODING23·2023-01-09 15:43

【联邦学习邂逅密码学系列】基于同态加密算法python代码实现

联系方式：[email protected]前言联邦学习是一种参与方之间联合隐私训练的新范式，受到学术界和工业界的关注。
lrchang·2023-01-09 15:43

EAIDK学习日记—DAY1

边缘VS云3.边缘智能的类型①边缘收集数据，云端训练+推理（适用于大部分智能音箱，部分收音机）②边缘收集数据+推理，云端训练（端云结合，适用于大部分智能设备③边缘收集数据加推理，分布式边缘训练（适用于联邦学习
正太man·2023-01-09 11:57

【FATE】==在Docker中部署FATE——单机版==

目录1.环境准备2.Docker安装3.Docker-Compose安装4.检查本地8080、9360、9380端口是否被占用5.在Docker中部署FATE6.测试1.环境准备主机需要能够访问外部网络
Hi ! Mr.Zhang·2023-01-09 11:57

FATE —— 2.4 Homo-NN自定义损失函数

前言当Pytorch的内置损失功能不能满足您的使用需求时，您可以使用自定义损失来训练您的模型MNIST示例的一个小问题您可能会注意到，在上一个教程“自定义数据集”中的MNIST示例中，分类器输出分数是Softmax函数的结果，我们使用torch内置的CrossEntropyLoss来计算损失。然而，它在文档（CrossEntropyLossDoc）中显示，输入预期包含每个类的未规范化逻辑，也就是说
MMM881·2023-01-09 11:27

FATE —— 2.5 Homo-NN自定义模型

前言FATE版本为1.10.0单机部署版，win10+centos7构建模型在FATE1.10.0中，您可以使用管道提交PyTorchSequential模型。
MMM881·2023-01-09 11:27

FATE —— 2.1 Homo-NN二进制分类任务

说明FATE版本为1.10.0单机部署版，win10+centos7本教程允许您快速开始使用HomoNN。
MMM881·2023-01-09 11:56

FATE —— 2.2 Hetero-NN快速入门：二进制分类任务

前言在本教程中，您将学习如何使用HeteroNN。应该注意的是，HeteroNN也已升级为与HomoNN类似的工作方式，允许使用Pytorch后端对模型和数据集进行高度定制。我们将在后面的章节中专门介绍针对HeteroNN的定制。此外，HeteroNN还改进了一些接口，如交互层接口，这使其使用逻辑更加清晰。在本章中，我们将提供一个使用Hetero-NN的基本二进制分类任务的示例。使用此算法的过程与
MMM881·2023-01-09 11:56

FATE —— 2.3.2 Homo-NN内置数据集

前言在FATE-1.10中，提供了表、nlp_标记器和图像三个数据集，以满足表数据、文本数据和图像数据的基本需求表数据集TableDataset在table.py下提供，用于处理csv格式的数据，并将自动从数据中解析
MMM881·2023-01-09 11:56

kubefate部署FATE——三方ssh端口不一致部署

kubefate部署FATE——三方ssh端口不一致部署准备工作三个主机（物理机或者虚拟机，都是ubuntu系统）；所有主机安装Docker版本:18+；所有主机安装Docker-Compose版本:1.24
ysjyxz·2023-01-09 11:55

FATE | ubuntu用KuteFATE在多台机器部署联合学习框架FATE——要点

【自己的理解和体验，可能有不对的地方，供新手参考，结合官方教程使用效果更佳】文章目录1.standalone-FATE、cluster-FATE、KubeFATE区别的个人理解2.前期准备2.1安装合适版本的
南瓜派三蔬·2023-01-09 11:25

联邦学习（六）：Tensorflow 实现联邦迁移学习

文章目录项目说明方法说明代码说明1、导入需要的库2、为每个客户端制作数据集2.1导入并处理MNIST数据2.2定义相关变量2.3为每个客户端制作训练集和测试集3、建立模型3.1建立服务器模型3.2建立客户端模型4、定义训练过程5、模型训练项目说明本项目旨在使用Tensorflow2.0模拟实现论文FederatedTransferLearningforIntelligentFaultDiagnos
cofisher·2023-01-09 11:55

联邦学习（三）：Tensorflow2.0 实现联邦学习

文章目录项目说明代码实现1、导入需要的库2、定义相关的类2.1Data2.2Aggregator2.3Model2.4Bank3、导入并处理原始数据4、联邦学习4.1划分数据并重采样4.2模型训练4.2.1
cofisher·2023-01-09 11:54

[tensorflow]联邦学习框架TFF安装记录(基于docker)

1.介绍tensorflowfederated(下面简称为TFF)是谷歌开发的一款开源联邦学习框架,该框架基于tensorflow(下面简称为TF)运行.安装这个框架花了我两天时间,现在对安装过程进行总结
一骑红尘荔枝来·2023-01-09 11:53

(windows)超轻松的anaconda下tensorflow与tensorflow-federated联邦学习环境安装

所需软件：anacondanavigator网上的大部分都是使用cmd安装，会遇到特别多问题（解决了半天还是有的跳不过去TT），摸索了很久找到了巨简单的安装方法一、配置环境需要创建一个新的虚拟环境，常见做法宜遇到InvalidArchiveError等一系列问题，下面我写的文章有一种极简单方法绕过这些问题无痛创建。https://blog.csdn.net/Tainya_/article/deta
Tainya_·2023-01-09 11:52

FATE —— 2.3.1 Homo-NN自定义数据集

前言FATE系统主要支持表格数据作为其标准数据格式。然而，通过使用NN模块的数据集特性，可以在神经网络中使用非表格数据，例如图像、文本、混合数据或关系数据。
MMM881·2023-01-09 11:52

FATE —— 2. NN Modules

在FATE-1.10中，整个NN框架被重新设计用于高度可定制的机器学习。使用此框架，您可以创建自己的模型、数据集、培训器和聚合器，以满足您的特定需求。本教程向您介绍我们的全新框架。
MMM881·2023-01-09 11:21

【论文笔记】A survey on federated learning （综述）

YuXie,HangBai,BinYu,WeihongLi,YuanGaoKeywordsFederatedlearning;Privacyprotection;MachinelearningAbstract联邦学习是在一个中央聚合器的协调下多客户协作解决机器学习问题的机制
你的莽莽没我的好吃·2023-01-09 10:37

python实现游戏活动自动挂机《Fate/grand Order》

实现自动挂机所涉及到的库包括：pyautogui、win32gui、time、opencv。一、激活窗口首先是激活模拟器窗口，为之后的屏幕内找图做铺垫，这里主要是使用了win32gui库实现功能。首先用FindWindow先获取窗口的权柄，然后用win32gui.SetForegroundWindow激活窗口，返回窗口坐标是为了一开始确定整个模拟器的范围defget_windows_info():
开水烫·2023-01-07 11:48

python写自动脚本_用Python实现FGO自动战斗脚本

1.背景Fate/GrandOrder（非的肝不过欧的）作为索尼为了拯救自己不倒闭而开发的面向月厨的骗氪养成抽卡爆肝游戏，居然没有像隔壁《阴阳师》的自动战斗系统（看看别人现在都自带脚本了）。
weixin_39558804·2023-01-07 11:18

python黑科技脚本_利用Python实现FGO自动战斗脚本，再也不用爆肝啦~

利用Python实现FGO自动战斗脚本，再也不用爆肝啦~Fate/GrandOrder(非的肝不过欧的)作为索尼为了拯救自己不倒闭而开发的面向月厨的骗氪养成抽卡爆肝游戏，居然没有像隔壁《阴阳师》的自动战斗系统
weixin_39636850·2023-01-07 11:18

战斗的python代码_用Python实现FGO自动战斗脚本

1.背景Fate/GrandOrder(非的肝不过欧的)作为索尼为了拯救自己不倒闭而开发的面向月厨的骗氪养成抽卡爆肝游戏，居然没有像隔壁《阴阳师》的自动战斗系统(看看别人现在都自带脚本了)。
李诺亚·2023-01-07 11:18
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他