联邦学习+知识蒸馏第11页

【论文速递】ICCCS2022 - FedMMD：基于多教师和多特征蒸馏的异构联邦学习

【论文速递】ICCCS2022-FedMMD：基于多教师和多特征蒸馏的异构联邦学习【论文原文】：FedMMD:HeterogenousFederatedLearningbasedonMulti-teacherandMulti-featureDistillation

長__安·2023-02-06 08:30

隐私计算FATE-核心概念与单机部署

一、说明Fate是一个工业级联邦学习框架，所谓联邦学习指的就是可以联合多方的数据，共同构建一个模型；与传统数据使用方式相比，它不需要聚合各方数据搭建数据仓库，联邦学习在联合计算建模的过程中，多方机构之间的数据是不会进行共享的

zlt2000·2023-02-06 02:28

模型自动压缩工具实战：YOLOv7模型缩小75%，部署加速163%！

本文为大家介绍一个低成本、高收益的AI模型自动压缩工具（ACT,AutoCompressionToolkit），在YOLO系列模型上利用基于知识蒸馏的量化训练方法，无需修改训练源代码，通过几十分钟量化训练

飞桨PaddlePaddle·2023-02-05 13:44

构建我的图像分类框架记录

构建我的图像分类框架记录参考资料数据集cifar10模型选择mobilnet系列参考博客评价指标训练trick整理调参网络结构调优resnet系列学习衰减策略标签平滑知识蒸馏数据增强ｍｉｘｕｐ参数值的设置优化批归一化

慕一Chambers·2023-02-05 10:43

FedAvg--联邦学习最基础算法

分布式机器学习采用client-server架构(或master-slave架构),联邦学习则不一样，它需要考虑系统异构性统计异构性(non-IID)数据隐私FedAvg兼顾了通信开销和收敛率问题，具体过程如下

欧阳AI锋·2023-02-04 13:09

Batch Normalization在联邦学习中的应用

回想一下联邦学习（FL）中的FedAvg，这个算法是将每个参与方的模型的所有参数进行加权平均聚合，包括BatchNormalization（BN）的参数。再回顾一下BN。

联邦学习小白·2023-02-04 11:51

联邦持续学习——Federated Weighted Inter-client Transfer(FedWeIT)

联邦持续学习的目的联邦持续学习意在将联邦学习和持续学习相结合，以解决“每个客户端从私有本地数据流中学习一系列任务，不同客户端之间也可以互相借鉴彼此已有的知识以增强自身的学习效果”的场景，目前这方面的研究还很少

联邦学习小白·2023-02-04 11:51

pytorch中model.parameters()和model.state_dict()使用时的区别

联邦学习模拟实验中涉及模型参数的聚合和广播，需要提取模型参数。这个时候一般有两个选择，model.parameters()和model.state.dict()。

联邦学习小白·2023-02-04 11:50

联邦学习（一）基础概述

哔站视频简介：什么是联邦学习（FederatedLearning）？

游星凌·2023-02-02 17:11

联邦学习part1概述

1.联邦学习定义：联邦学习是利用分散在各参与方的数据集，通过隐私保护技术融合多方数据信息，协同构建全局模型的一种分布式训练方式。

kkcodeer·2023-02-02 17:37

联邦学习(Federated Learning)概述

概念本质：联邦学习本质上是一种分布式机器学习技术，或机器学习框架。目标：联邦学习的目标是在保证数据隐私安全及合法合规的基础上，实现共同建模，提升AI模型的效果。

flyzer·2023-02-02 17:32

《联邦学习实战》杨强读书笔记二——联邦学习概述

目录联邦学习的定义联邦学习的分类按照数据样本空间以及特征空间的关系根据协调方式联邦学习的定义联邦学习是利用分散在各参与方的数据集，通过隐私保护技术融合多方数据信息，协同构建全局模型的一种分布式训练方式。

超威橘猫·2023-02-02 17:59

(隐私计算)联邦学习概述

一、是什么概念联邦学习（FederatedLearning，FELE）是一种打破数据孤岛、释放AI应用潜能的分布式机器学习技术，能够让联邦学习各参与方在不披露底层数据和底层数据加密（混淆）形态的前提下，

Mr.Lee jack·2023-02-02 17:28

NLP中知识蒸馏

NLP中的知识蒸馏一、什么是知识蒸馏知识蒸馏一个重要目的是让学生模型学习到老师模型的泛化能力，让轻量级的学生模型也可以具备重量级老师模型的几乎同样的能力。

ZHUY-JUN·2023-02-02 16:17

第一章隐私计算科普与解读

前言提醒：全文10千字，预计阅读时长15分钟；读者：对隐私计算感兴趣的小伙伴；目的：读者利用15~30分钟对本文沉浸式阅读理解，能够掌握隐私计算80%的概念；关键词：隐私计算、多方安全计算、联邦学习、同态加密

书香度年华·2023-02-02 16:46

机器学习-联邦学习安全方面的论文汇总

1、最先由谷歌提出联邦学习的概念KONEČNÝJ,MCMAHANHB,RAMAGED,etal.Federatedoptimization:distributedmachinelearningforon-deviceintelligence

河大吴彦祖·2023-02-02 14:05

【技术博客】纵向联邦学习简介及实现

B希望能够将他所独有的特征信息与A所独有的特征信息相结合，训练出一个更强大的识别客户信用风险的模型，但由于不同行业之间的行政手续，用户数据隐私安全等因素，企业A，B无法直接互通数据，联邦学习应运而生。

MoModel·2023-02-02 14:04

sean xiao。·2023-02-02 14:03

【纵向联邦】学习

联邦学习笔记刘洋丨联邦学习的技术挑战和应用展望杨强丨用户隐私，数据孤岛和联邦学习【20220709隐私计算峰会】刘洋丨联邦学习的技术挑战和应用展望防御方法比较：DifferentialPrivacy（DP

LilaLenu·2023-02-02 14:02

【机器学习】横向联邦学习&纵向联邦学习区别

文章目录背景简介横向联邦学习纵向联邦学习参考背景简介现实生活中，除了少数巨头公司能够满足，绝大多数企业都存在数据量少，数据质量差的问题，不足以支撑人工智能技术的实现；同时国内外监管环境也在逐步加强数据保护

杨小浩浩hh·2023-02-02 14:02

横向联邦学习（Horizontal Federated Learning）VS 纵向联邦学习（Vertical Federated Learning）

1.横向联邦学习：适用于参与者的数据特征维度重叠较多的情形：目的：增加训练数据的数据量例如甲医院有患者：A，B，C；乙医院有患者C，D，F这六位患者，甲乙医院都有患者的身高，体重，血压，心跳等信息，那么进行联邦学习一个判断患者健康状况的模型时

归遇卿·2023-02-02 14:02

隐私计算--23--纵向联邦学习

一、纵向联邦学习的定义纵向联邦学习（VFL）一般是适用于数据集上具有相同的样本空间、不同的特征空间的参与方所组成的联邦学习场景，纵向联邦学习也可以理解为按特征划分的联邦学习。

武天旭·2023-02-02 14:31

联邦学习（电子工业出版社）——读书笔记（4）

第五章纵向联邦学习纵向联邦学习的定义把在数据集上具有相同的样本空间、不同的特征空间的参与方所组成的联邦学习归纳为纵向联邦学习（VerticalFederatedLearning,VFL），也可以理解为按特征划分的联邦学习

超威橘猫·2023-02-02 14:01

商汤科技面试——CV算法面经

目录1面2面3面HR面1面1.CornerNet介绍，CornerPooling是怎么做的，怎么解决cornernet检测物体合并为一个框的问题2.介绍Mimic知识蒸馏是怎么做的3.MobileNet

fpga和matlab·2023-02-02 11:52

联邦学习FL

联邦学习概念跨设备联邦学习跨机构联邦学习事件驱动VS面向过程FederatedScope架构Woker模块：Server/ClientWoker模块：Trainer/AggregatorWoker模块：

柒拾柒_L·2023-02-02 09:08

多方安全计算简介

诸多厂商开始采用联邦学习技术来增强机器学习应用中对数据的隐私保护，但是联邦学习的安全性对于某些隐私保护机器学习的应用是不够的。

火墩墩·2023-02-02 09:06

干扰管理学习日志9-------强化学习_联邦学习_功率分配

目录一、文章概述二、系统环境三、理论模型1.系统目标2.公式推导四、应用算法1.顶层设计2.强化学习(1)输入状态(2)输出动作(3)环境反馈3.联邦学习4.伪代码五、性能表征1.泛化性本文是对论文《TransmitPowerControlforIndoorSmallCells

@白圭·2023-02-01 16:28

深度学习模型压缩与加速综述

点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达导读本文详细介绍了4种主流的压缩与加速技术：结构优化、剪枝、量化、知识蒸馏，作者分别从每个技术结构与性能表现进行陈述。

小白学视觉·2023-02-01 08:30

弹性响应蒸馏 | 用弹性响应蒸馏克服增量目标检测中的灾难性遗忘

知识蒸馏是减轻灾难性遗忘的灵活的方法。在增量目标检测(IOD)中，以往的工作主要集中在提取特征和响应的组合上。然而，它们对响应中包含的信息的探索不足。本文提出了一种基

极智视界·2023-02-01 02:24

《Focal and Global Knowledge Distillation for Detector》论文解读

若有侵权，联系必删论文地址：FocalandGlobalKnowledgeDistillationforDetectors一、什么是知识蒸馏首次提出知识蒸馏的概念由Hinton于2015年提出：知识蒸馏开山之作中文知识蒸馏研究综述

WerZ·2023-01-31 15:47

知识蒸馏之Focal and Global Knowledge Distillation for Detectors

1,2ZheLi2XiaohuJiang1YuanGong1ZehuanYuan2DanpeiZhao3ChunYuan†11TsinghuaShenzhenInternationalGraduateSchool2ByteDanceInc3BeiHangUniversity0.摘要作者觉得在目标检测领域，知识蒸馏效果比较差

Diros1g·2023-01-31 15:16

Focal and Global Knowledge Distillation——目标检测网络的知识蒸馏

Paper地址：https://arxiv.org/abs/2111.11837GitHub链接：https://github.com/yzd-v/FGD方法FGKD（FocalandGlobalKnowledgeDistillation）通过Focaldistillation与Globaldistillation的结合，兼顾了Instance-level信息、Spatial/ChannelAtt

Law-Yao·2023-01-31 15:46

FGD针对目标检测的重点与全局知识蒸馏

CVPR2022|针对目标检测的重点与全局知识蒸馏文章链接：arxiv.org/abs/2111.11837代码链接：github.com/yzd-v/FGD讲解部分:https://zhuanlan.zhihu.com

微凉code·2023-01-31 15:46

CVPR 2022 | 针对目标检测的重点与全局知识蒸馏(源代码开源)

关注并星标从此不迷路计算机视觉研究院公众号ID｜ComputerVisionGzq学习群｜扫码在主页获取加入方式计算机视觉研究院专栏作者：Edison_G今天介绍CVPR2022关于目标检测的知识蒸馏工作

计算机视觉研究院·2023-01-31 15:45

[目标检测知识蒸馏4] [CVPR22] Focal and Global Knowledge Distillation for Detectors

[CVPR22]FocalandGlobalKnowledgeDistillationforDetectorsMotivation在目标检测中，前景、背景的不平衡是目标检测中的一个关键问题；教师和学生网络的特征在不同区域有很大差异，尤其是在前景和背景中。如果进行平均蒸馏，特征图之间的不均匀差异会产生负面影响。局部和全局蒸馏（FGD）：局部蒸馏：分离了前景和背景，迫使学生网络将注意力集中在教师网络的

Junjian Zhang·2023-01-31 15:45

CVPR 2022 | 针对目标检测的重点与全局知识蒸馏(FGD)

关注公众号，发现CV技术之美本篇文章由粉丝@美索不达米亚平原投稿，原文地址：https://zhuanlan.zhihu.com/p/477707304本文介绍我们CVPR2022关于目标检测的知识蒸馏工作

我爱计算机视觉·2023-01-31 15:45

CVPR 2022 | 清华&字节提出FGD：针对目标检测的重点与全局知识蒸馏

重磅干货，第一时间送达作者：美索不达米亚平原|已授权转载（源：知乎）编辑：CVerhttps://zhuanlan.zhihu.com/p/477707304本文介绍我们CVPR2022关于目标检测的知识蒸馏工作

Amusi（CVer）·2023-01-31 15:15

深度学习精度提升 3 个小妙招：模型集成、知识蒸馏、自蒸馏

本文转载自AI公园。作者：ZeyuanAllen-Zhu编译：ronghuaiyang导读训练好的模型，用自己蒸馏一下，就能提高性能，是不是很神奇，这里面的原理到底是什么呢，这要从模型集成开始说起。在现在的标准技术下，例如过参数化、batch-normalization和添加残差连接，“现代”神经网络训练——至少对于图像分类任务和许多其他任务来说——通常是相当稳定的。使用标准的神经网络结构和训练算

我爱计算机视觉·2023-01-31 14:04

深度学习中的3个秘密：集成、知识蒸馏和蒸馏

作者：ZeyuanAllen-Zhu来源：AI公园编译：ronghuaiyang在现在的标准技术下，例如过参数化、batch-normalization和添加残差连接，“现代”神经网络训练——至少对于图像分类任务和许多其他任务来说——通常是相当稳定的。使用标准的神经网络结构和训练算法(通常是带动量的SGD)，学习模型的表现一贯良好，不仅在训练精度方面，甚至在测试精度方面，无论在训练过程中使用的是哪

人工智能学家·2023-01-31 14:03

文文学霸·2023-01-31 14:02

【深度学习】知识蒸馏原理以及实践从0到1

文章目录前言1、知识蒸馏1.1是什么？1.2训练流程1.3问题与挑战2、落地使用2.1后续问题：总结前言有没有什么方法可以在不扩展硬件的情况下利用这些强大但庞大的模型来训练最先进的模型？

weixin_40293999·2023-01-31 14:00

论文阅读_神经网络知识蒸馏_DK

英文题目：DistillingtheKnowledgeinaNeuralNetwork中文题目：神经网络知识蒸馏论文地址：https://arxiv.org/pdf/1503.02531.pdf领域：深度学习发表时间

xieyan0811·2023-01-31 13:38

【论文速递】一种用于目标检测的结构知识蒸馏

【论文原文】：StructuralKnowledgeDistillationforObjectDetection获取地址：https://arxiv.org/pdf/2211.13133.pdf摘要：知识蒸馏

毛豆豆kkk·2023-01-31 13:28

【技术博客】面向大规模的联邦学习：系统设计

摘要联邦学习是一种分布式的机器学习方法，可以对大量分散在移动设备上的数据进行训练，而在实现时，则会遇到许多问题。因此，如何设计一个系统这个问题就会自然而然产生。

MomodelAI·2023-01-31 06:42

AI最热词汇“联邦学习”最新舆情

今年以来，特别是数据被纳入生产要素，数据安全领域一个最时髦的词汇“联邦学习”进入了各行各业的视野。

hellompc1·2023-01-30 23:38

联邦学习论文阅读

最近阅读了两篇关于联邦学习的论文，《Communication-EfficientLearningofDeepNetworksfromDecentralizedData》和《FedMDHeterogenousFederatedLearningviaModelDistillation

Septieme·2023-01-30 23:39

基于小样本知识蒸馏的乳腺癌组织病理图像分类

基于小样本知识蒸馏的乳腺癌组织病理图像分类期刊：中国计量大学学报时间：2022研究院：中国计量大学关键词：乳腺癌；知识蒸馏；图像分类；小样本学习；卷积神经网络方法简介本文使用的知识蒸馏方案是基于小样本的双级蒸馏策略

HoraceO·2023-01-30 18:28

联邦学习-fedavg_trainer

FedAVGTrainerimporttorchimporttorchastimporttqdmimportnumpyasnpfromtorch.utils.dataimportDataLoaderfromfederatedml.framework.homo.aggregator.secure_aggregatorimportSecureAggregatorClientasSecureAggCli

MMM881·2023-01-30 16:20

完整的模型训练套路（pytorch）

（联邦学习笔记，资料来源于b站小土堆）训练模板1、准备数据集2、获取数据集长度，可以用来辅助计算精确度3、加载数据集（DataLoader）4、搭建网络模型（一般单独一个python文件）5、创建网络模型

沉睡中的主角·2023-01-30 13:44

CVPR21 Semantic-aware Knowledge Distillation for FSCIL

小样本增量学习之语义敏感的知识蒸馏1.任务背景1.1增量学习1.2基于知识蒸馏的增量学习2.方法2.1基于知识蒸馏的增量学习2.2小样本任务的多个嵌入2.3模型概述3.总结4.参考文献论文亮点：在知识蒸馏中引入语义信息

一亩高粱·2023-01-29 10:46

推荐频道

联邦学习+知识蒸馏