联邦学习+知识蒸馏第11页

深度学习高温蒸馏：Softmax With Temperature

©作者|清川单位|上海交通大学博士生研究方向|联邦学习、端云协同推断问题来源最近读到一篇模型蒸馏的文章[1]，其中在设计软标签的损失函数时使用了一种特殊的softmax：文章中只是简单的提了一下，其中T

PaperWeekly·2023-04-20 08:43

联邦GNN综述与经典算法介绍

作者：京东科技李杰联邦学习和GNN都是当前AI领域的研究热点。联邦学习的多个参与方可以在不泄露原始数据的情况下，安全合规地联合训练业务模型，目前已在诸多领域取得了较好的结果。

·2023-04-19 18:52

医疗场景下CV应用的总结与思考

目录背景项目总体思路与框架技术难题及解决思路Data模块Modeling模块Deployment模块可优化方向标注流程基于GAN的眼底图像生成模型隐私计算，联邦学习即时标注平台+自动化机器学习背景随着新生儿眼底筛查的普及

weixin_52493773·2023-04-19 10:06

paddleocr 模型

要点：教师模型和学生模型：1查看原模型DistillationModel是PaddlePaddle框架中用于知识蒸馏的模型。

处女座_三月·2023-04-19 09:30

知识蒸馏综述: 知识的类型

这篇是知识蒸馏综述的第一篇，主要内容为知识蒸馏中知识的分类，包括基于响应的知识、基于特征的知识和基于关系的知识。知识蒸馏简介定义：知识蒸馏代表将知识从大模型向小模型传输的过程。

pprpp·2023-04-19 01:38

低延迟流式语音识别技术在人机语音交互场景中的实践

本方法将降低延迟问题转换成一个知识蒸馏过程，极大地简化了延迟优化的难度，仅通过一个正则项损失函数就使得模型在训练过程中自动降低出字延迟。

·2023-04-19 00:07

知识蒸馏(Knowledge Distillation)

论文：[1503.02531]DistillingtheKnowledgeinaNeuralNetwork(arxiv.org)知识蒸馏是一种模型压缩方法，是一种基于“教师-学生网络思想”的训练方式，由于其简单

夕阳之后的黑夜·2023-04-18 22:39

联邦学习概述：（横向联邦学习）

联邦学习能做什么？用于建立移动终端与服务器之间的共享模型在大规模数据背景下有效地利用数据资源保证用户的隐私安全什么是联邦学习？

白兔1205·2023-04-18 19:32

【联邦学习】横向联邦学习（Horizontal Federated Learning，HFL）

文章目录一、横向联邦学习的定义二、横向联邦学习的安全性三、横向联邦学习架构1.客户-服务器架构2.对等网络架构四、联邦优化五、联邦平均算法参考链接一、横向联邦学习的定义横向联邦学习也称为按样本划分的联邦学习

想变厉害的大白菜·2023-04-18 19:32

浅谈联邦学习Federated Learning

最近人工智能、大数据领域的公众号疯狂给我推送“联邦学习”相关的文章，使得本来并不好奇的我，有了一丝丝揭开它神秘面纱的冲动。

廿半·2023-04-18 19:59

联邦学习(联合学习) Federated Learning(FL)

联邦学习，是联邦机器学习的简称,也叫联合学习，联盟学习谷歌公司和微众银行分别提出了不同的“联邦学习”(FederatedLearning)算法框架FederatedLearning:CollaborativeMachineLearningwithoutCentralizedTrainingData

hxxjxw·2023-04-18 19:28

【联邦学习（Federated Learning）】- 横向联邦学习与联邦平均FedAvg

文章目录横向联邦学习的定义横向联邦学习架构客户-服务器架构对等网络架构联邦平均算法横向联邦学习的定义横向联邦学习也称为按样本划分的联邦学习，可以应用于联邦学习的各个参与方的数据集有相同的特征空间和不同的样本空间的场景

1 + 1=王·2023-04-18 19:53

教授专栏51 | 杨强: 联邦学习的隐私保护与模型的知识产权保护 (机器智能研究MIR)...

杨强教授简介杨强教授，加拿大皇家科学院及加拿大工程院两院院士，微众银行首席人工智能官，香港科技大学计算机与工程系讲座教授和前系主任，AAAI-2021大会主席，国际人工智能联合会（IJCAI）理事会前主席，香港人工智能与机器人学会（HKSAIR）理事长，智能投研技术联盟（ITL）主席，ACMTIST和IEEETRANSonBIGDATA创始主编，CAAI，AAAI，ACM，IEEE，AAAS等多个

香港科大商学院内地办事处·2023-04-16 12:32

模型压缩技术：剪枝、量化和蒸馏

模型压缩大体上可以分为5种：模型剪枝：即移除对结果作用较小的组件模型量化：比如将float32降到int8知识蒸馏：将teacher的能力蒸馏到student上，一般student会比teacher小。

LabVIEW_Python·2023-04-15 23:21

《CRFL:Certifiably Robust Federated Learning against Backdoor Attacks》

CRFL:CertifiablyRobustFederatedLearningagainstBackdoorAttacksCRFL：针对后门攻击的可验证的鲁棒性联邦学习后门攻击：后门攻击是深度学习中的一种新兴安全威胁

梦码城·2023-04-15 16:52

图像任务知识蒸馏调研（知识蒸馏一）

图像任务知识蒸馏调研（知识蒸馏一）图像任务知识蒸馏调研（知识蒸馏一）ImageSuper-ResolutionUsingKnowledgeDistillation(ACCV2018)方法Data-FreeKnowledgeDistillationForImageSuper-Resolution

Man in Himself·2023-04-15 07:36

模型蒸馏技术实践

什么是模型蒸馏Hinton(AI教父)在NIPS2014提出了知识蒸馏（KnowledgeDistillation）的概念，至此开启了该领域的深入研究。我们将模型蒸馏看作是知识蒸馏体系的重要分支。

从416到北京的ZMZ·2023-04-14 03:25

【学习资料】项目经历总结

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言四、centerpointmaskrcnn等的学习四、自我介绍一、岗位信息二、使用步骤项目名称：《基于知识蒸馏的实例分割模型压缩研究与应用

杨立青101·2023-04-13 18:07

Knowledge Distillation (2) 知识迁移

更好的阅读体验请跳转至KnowledgeDistillation(2)知识迁移上篇讨论了bert-of-theseus，算是一个开篇，本文继续讨论关于模型蒸馏（DistillingKnowledge）及关于BERT模型的知识蒸馏

小蛋子·2023-04-13 16:40

知识蒸馏综述:网络结构搜索应用

【GiantPandaCV导语】知识蒸馏将教师网络中的知识迁移到学生网络，而NAS中天然的存在大量的网络，使用KD有助于提升超网整体性能。两者结合出现了许多工作，本文收集了部分代表性工作，并进行总结。

pprpp·2023-04-13 01:59

# 联邦学习-安全树模型 SecureBoost之集成学习

文章目录1联邦学习背景2联邦学习树模型方案3EnsembleLearning3.1集成学习3.2Bagging&Boosting3.2.1Bagging(bootstrapaggregating)3.2.2Boosting3.2.3Bagging

秃顶的码农·2023-04-12 09:28

（1）深入解析图像字幕生成数据集———Coco dataset

之前，我一直从事深度神经网络模型压缩和加速的研究，包括但不限于轻量化网络设计、模型修剪、知识蒸馏和网络量化等。

安静到无声·2023-04-12 04:19

yolov5使用知识蒸馏

DistillingObjectDetectorswithFine-grainedFeatureImitation论文介绍1.创新点2.内容介绍1.Fine-Gained区域提取2.loss损失值二、yolov5添加知识蒸馏

目标检测小白·2023-04-12 03:30

[TAI 2023] 推荐系统的隐私保护多视图矩阵分解

Privacy-PreservingMulti-ViewMatrixFactorizationforRecommenderSystems|IEEEJournals&Magazine|IEEEXplore摘要随着对数据隐私的日益关注，在联邦学习

sinat_38007523·2023-04-11 21:09

[TIFS 2022] FLCert：可证明安全的联邦学习免受中毒攻击

FLCert:ProvablySecureFederatedLearningAgainstPoisoningAttacks|IEEEJournals&Magazine|IEEEXplore摘要由于其分布式性质，联邦学习容易受到中毒攻击

sinat_38007523·2023-04-11 21:33

[预训练语言模型专题] MT-DNN(KD) : 预训练、多任务、知识蒸馏的结合

本文为预训练语言模型专题系列第八篇快速传送门1-4：[萌芽时代]、[风起云涌]、[文本分类通用技巧]、[GPT家族]5-7：[BERT来临]、[浅析BERT代码]、[ERNIE合集]感谢清华大学自然语言处理实验室对预训练语言模型架构的梳理，我们将沿此脉络前行，探索预训练语言模型的前沿技术，红框中为已介绍的文章，绿框中为本期介绍的文章，欢迎大家留言讨论交流。Multi-TaskDeepNeuralN

yang191919·2023-04-10 09:04

【论文笔记_剪枝_知识蒸馏_2022】INDISTILL: TRANSFERRING KNOWLEDGE FROM PRUNED INTERMEDIATE LAYERS

摘要在资源有限的硬件上部署深度神经网络，如智能手机和无人机，由于其计算复杂性，构成了巨大的挑战。知识提取方法旨在将知识从大型模型转移到轻量级模型，也分别称为教师和学生，而从中间层提取知识为该任务提供了额外的监督。模型之间的容量差距、破坏其架构一致性的信息编码以及缺乏用于转移多层的适当学习方案限制了现有方法的性能。在本文中，我们提出了一种新的方法，称为InDistill，它可以通过利用通道剪枝的属性

乱搭巴士·2023-04-10 03:41

微信看一看强化学习推荐模型的知识蒸馏探索之路丨CIKM 2021

智能推荐系统·2023-04-10 03:10

强化学习下的多教师知识蒸馏模型（学习笔记

对知识蒸馏的方法提出了一个新的方向采用多个不同的教师模型同时训练一个学生模型一个很明显的好处就是多个教师model可以减少单个教师模型它的bias但是当我们有多个老师的时候，学生模型是否能够根据自己的能力选择和结合教师模型的特点来选择性的向老师学习

：）�东东要拼命·2023-04-10 03:04

Personalized Federated Learning with Moreau Envelopes论文阅读+代码解析

因此，个性化联邦学习在改变传统追求全局一个较好模型做到了平衡——全局与局部的调整，以适应本地数据集。二.相关工

编程龙·2023-04-09 22:01

博客6：YOLOv5车牌识别实战教程：性能优化与部署

主要的模型压缩方法有：知识蒸馏：通过使用一个小型网络（学生网络）学习大型网络（教师网络）的知识，从而获得更小但准确率较高的模型。以下是一

SYBH.·2023-04-09 20:40

联邦学习资料整理：文献、视频、应用

闭眼卖布·2023-04-09 17:01

2019年3月11日

因此之后午睡时间也被压缩了……下午谜之不想看联邦学习代码（虽然领导交代本周必须出一次阶段性成果报告），就一边重看魔女的麻将教程一边随便看看keras的文档，中途想试

真昼之月·2023-04-09 15:45

基于联邦学习的多源异构数据融合算法

这使得以云计算为核心的集中式处理模式难以高效处理边缘设备产生的数据.另外，由于边缘网络设备的多样性以及数据表示手段的不断丰富，多模态数据广泛存在.为充分利用边缘设备上的异构数据，解决边缘计算中由于数据隐私引起的“数据通信壁垒”问题，提出了一种联邦学习中基于

米朵儿技术屋·2023-04-09 01:39

直播预告 AI TIME&浙大专场一 | 面向时空异构数据的联邦学习

点击蓝字关注我们AITIME欢迎每一位AI爱好者的加入！往期精彩文章推荐记得关注我们呀！每天都有新知识！关于AITIMEAITIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。迄今为止，AITIME已经邀请了1000

AITIME论道·2023-04-09 01:59

面向时空异构数据的联邦学习

作者分享链接：【ICLR2023】面向时空异构数据的联邦学习_哔哩哔哩_bilibili论文原文链接：https://arxiv.org/abs/2205.10920报告简介：联邦学习作为面向隐私保护的分布式学习范式

白兔1205·2023-04-09 01:28

联邦学习与安全多方计算

联邦学习与安全多方计算1.联邦学习2.安全多方计算3.联系与区别1.联邦学习联邦学习（FL，FederatedLearning）是谷歌于2016年提出的一种分布式机器学习框架，可以在保护个人数据隐私的前提下

机器学习Zero·2023-04-08 20:46

【自监督学习】概述 | 基于表示学习的知识图谱实体解析方法 | 自监督学习&Vision Transformer&数据增强&知识蒸馏 | 带你搞懂“对比学习”(一)

先来分享一段“有趣”的内容：请不要嫌长，ta其实并不长！（这很实际，这很现实，也很真实，请先慢慢耐心看完！）路的尽头是什么？ta说：考上高中就好了。当你考上了高中，ta说：考上大学就好了。当你考上了大学，ta说：考过四六级就好了。当你考过了四六级，ta说：考上研究生就好了。当你考上了研究生，ta说：找个女朋友就好了。当你找到了女朋友，ta说：

追光者♂·2023-04-07 10:30

疯狂的联邦学习！研究员年薪百万？

疯狂的联邦学习我这十几年一直在学习，停都停不下来！

hellompc1·2023-04-07 09:22

ICLR2021清华团队做的知识蒸馏提升detector的点的工作paper 小陈读论文系列

这个作者栏目就是一个词清爽牛逼不需要花里胡哨哈哈无疑是有点tian了哈哈不重要毕竟有机会研读梦中情笑的paper还是很感激的真的很清爽啊很多KD的工作确实在下游任务呢效果不是很好然后就引出了自己的关于提升知识蒸馏在

：）�东东要拼命·2023-04-07 07:58

知识蒸馏论文整理与总结与代码实现

知识蒸馏文章目录知识蒸馏题目题记章节一《论文选读》章节二《自我思考》章节三《bert模型》章节四《知识蒸馏》DistilBERT题目知识蒸馏题记写这篇的目的是为了改进自己的bert训练出来的模型，对于QA

365JHWZGo·2023-04-06 02:31

联邦学习【FATE安装与部署】

FATE支持Linux或Mac操作系统，支持单机部署、集群部署和KubeFATE部署，其中单机和集群部署都属于原生部署，需要配置必要的开发环境和依赖库。这篇文章主要是整合FATE框架安装所需软件环境的方法指南：系统环境是centos7，可以使用阿里云盘获取centos7镜像和VMware16.2；也可以自行官网下载。centos7镜像等文件https://www.aliyundrive.com/s

IFRᝰএ᭄·2023-04-05 09:10

Fate单机部署（主机版本）

4.4测试4.4.1单元测试4.4.2Toy测试4.5安装FATE-Client和FATE-Test4.6开启fateboard服务4.7python命令4.8flow命令1.常用网址Fate1.6.0联邦学习下载网站

一览天下945·2023-04-05 08:21

联邦学习FATE框架安装搭建 - CentOS8

联邦学习FATE(FederatedAITechnologyEnabler)是微众银行AI部门发起的开源项目，为联邦学习生态系统提供了可靠的安全计算框架。

小陈运维·2023-04-05 08:20

2023年3月版联邦学习（fate）从主机安装到实现联邦学习

联邦学习（fate）从主机安装到实现联邦学习一、单机部署1.1虚拟机配置1.2安装python1.3端口检查1.4获取安装包，并解压1.5安装1.6启动1.7测试1.8安装FATE-Client、FATE-Test

小白学习记录·2023-04-05 08:12

【联邦学习FATE框架实战】（一）FATE1.6单机部署教程

目录1.说明2.安装前3.在主机中安装FATE(使用已编译的安装包)3.1端口检查3.2获取安装包3.3安装3.4启动3.5测试3.6FATEBoard4.安装FATE-Client、FATE-Test、FATE-Flow、jupyternotebook4.1FATE-Client、FATE-Test4.2FATE-Flow4.3FATE中的JupyterNotebook1.说明使用虚拟机VMwa

HarrisonWu42·2023-04-05 08:36

联邦学习FATE（单机部署）案例搭建+安装（超详细）

前言最近刚刚接触了联邦学习，准备搭建一个联邦学习的案例，但是遇到了很多问题，因此写这篇文章记录一下，希望能帮助到更多的人。

不拘于时.·2023-04-05 08:57

KD/Knowledge Distillation

在本文中，我们将从背景和动机讲起，然后着重介绍“知识蒸馏”的方法，最后我会讨

愚昧之山绝望之谷开悟之坡·2023-04-04 06:31

近期隐私计算行业招聘（9月）

隐私计算研究员工作职责：跟踪隐私计算领域的最新技术动态与发展方向，负责多方安全计算、联邦学习、可信执行环境等方向的前沿研究工作，撰写研究报告；参与隐私计算技术、数据安全合规、数据资产管理、数据流通等方面的标准

开放隐私计算·2023-04-03 02:51

推荐频道

联邦学习+知识蒸馏