联邦学习+知识蒸馏

论文阅读：Knowledge Distillation: A Survey 知识蒸馏综述（2021）

论文阅读：KnowledgeDistillation:ASurvey知识蒸馏综述2021目录摘要IntroductionBackground知识基于响应的知识基于特征的知识基于关系的知识蒸馏模式离线蒸馏在线蒸馏自蒸馏教师
小百花~·2023-10-17 21:42

知识蒸馏（Knowledge Distillation）简述

知识蒸馏（KnowledgeDistillation）简述结论Reference：DistillingtheKnowledgeinaNeuralNetwork知识蒸馏（KnowledgeDistillation
泠山·2023-10-17 16:06

Startdt AI提出：使用生成对抗网络用于One-Stage目标检测的知识蒸馏方法

许多研究者通过知识蒸馏的方法，通过把一个
奇点云·2023-10-17 13:19

区块链如何应用于边缘计算、隐私计算联邦学习

本文探讨如何将区块链应用于边缘计算、隐私计算联邦学习的场景下的实现数据安全和发挥数据价值效率。什么是边缘计算边缘计算是一种分布式系统模型，它由终端设备、边缘服务器、中心服务器三层网络架
xingxin666.eth·2023-10-17 08:19

基于区块链的联邦学习应用研究

传统联邦学习弊端中心依赖成员之间的协作非常依赖协调方，一旦协调方痴线故障或者恶意行为。。激励不足数据体量小的用户对联邦学习感兴趣，数据题量大的用户没有足够动力。
GUAI拐·2023-10-17 08:45

区块链和联邦学习研究现状（翻译）

目前，有很多联邦学习+区块链的的研究工作。Martinez提出使用EOS区块链作为联邦学习的激励层。通过日志、和激励，能够保证联邦学习参与方的热情和高质量的数据贡献。
文三路张同学·2023-10-17 08:15

基于区块链与联邦学习技术的数据交易平台

目录基于区块链与联邦学习技术的数据交易平台基于区块链与联邦学习技术的数据交易平台符合法律法规、数据伦理约束的大规模数据交换是数据要素化的重要条件基础。
ZhangJiQun&MXP·2023-10-17 07:39

浅谈“知识蒸馏”技术在机器学习领域的应用

什么是知识蒸馏技术？知识蒸馏技术首次出现是在Hinton几年前的一篇论文《DistillingtheKnowledgeinaNeuralNetwork》。
Garvin Li·2023-10-16 04:09

深度学习-图像处理

模型训练加速增大学习率，batchsize和学习率同步增大warmup，线性增加学习率2.模型训练调参学习率衰减策略采用cosine函数标签平滑，把原始的one-hot类型标签软化，计算损失时一定程度的减少过拟合知识蒸馏
LeslieJaywei·2023-10-16 01:20

论文浅尝 | 深度神经网络的模型压缩

最近提出的知识蒸馏方法旨在获得小型和快速执行的模型，它已经表明参数量较小的学生网络可以较好的模仿更大的教师网络或网络集群的SoftOutput。在本文中，我们扩展了这一思想
开放知识图谱·2023-10-15 12:37

【论文理解】FedSky: An Efficient and Privacy-Preserving Scheme for Federated Mobile Crowdsensing

这篇论文同样是来自陆老师组的，发表在IEEEINTERNETOFTHINGSJOURNAL上的一篇关于联邦学习、同态加密的文章。
卷卷卷不动·2023-10-15 12:20

【论文笔记】CVPR2022：Anomaly Detection via Reverse Distillation From One-Class Embedding

与之前的知识蒸馏模型不同，学生网络不是直接接收原始图像，而是将教师模型的单类嵌入（OneClassEmbedding）作为输入，并旨在恢复教师的多
yjttjyyy·2023-10-15 07:14

联邦学习攻防综述

联邦学习简介联邦学习使得无法被汇聚在一起的多个数据源，可以通过不可逆的模型信息训练共享模型。
DAYTOY－*⸜( •ᴗ• )⸝*·2023-10-13 09:49

联邦学习综述

AdvancesandOpenProblemsinFederatedLearning》选题：Published10December2019-ComputerScience-Found.TrendsMach.Learn.联邦学习定义联邦学习是一种机器学习设置
满山的猴子我毛最多·2023-10-13 09:18

联邦学习综述（一）

一、联邦学习概念当今的AI仍然面临两个主要挑战。一是在大多数行业中，数据以孤立的孤岛形式存在。另一个是加强数据隐私和安全性。我们为这些挑战提出了一种可能的解决方案：安全的联邦学习。
星如雨ｸﾞｯ!(๑•̀ㅂ•́)و✧·2023-10-13 09:47

联邦学习综述（二）

二、用Shapley值解释联邦学习模型2.1Shapley值我们知道机器学习模型很多都是黑盒或者半黑盒模型。
星如雨ｸﾞｯ!(๑•̀ㅂ•́)و✧·2023-10-13 09:47

联邦学习综述

目录引言横向联邦学习纵向联邦学习联邦学习迁移联邦学习开源框架结论参考文献引言在联邦学习白皮书[1]中给出了明确的联邦学习的定义：各方数据都保留在本地，不泄露隐私也不违反法规；多个参与者联合数据建立虚拟的共有模型
NeverMoreH·2023-10-13 09:46

联邦学习综述二

联邦学习漫画联邦学习漫画链接:https://federated.withgoogle.com/FederatedAnalytics:CollaborativeDataSciencewithoutDataCollection
满山的猴子我毛最多·2023-10-13 09:14

读论文：Lightweight Models for Traffic Classification: A Two-Step Distillation Approach

关键词：流量分类、自蒸馏、知识蒸馏、模型压缩、深度学习1、介绍模型压缩技术旨在将大型深度模型压缩成轻量级的小魔仙，以满足资源有限的硬件部署。诸如剪枝、知
不会绑马尾的女孩·2023-10-12 09:37

读书笔记：多Transformer的双向编码器表示法(Bert)-4

BidirectionalEncoderRepresentationsfromTransformers，即Bert；第二部分探索BERT变体从本章开始的诸多内容，以理解为目标，着重关注对音频相关的支持（如果有的话）；BERT变体：ALBERT、RoBERTTa、ELECTRA、SpanBERT、基于知识蒸馏
baby_hua·2023-10-11 23:27

区块链、隐私计算、联邦学习、人工智能的关联

目录前言1.区块链2.隐私计算3.联邦学习（隐私计算技术）4.区块链和联邦学习5.区块链和人工智能展望参考文献前言区块链公开透明，但也需要隐私，人工智能强大，但也需要限制。
笑傲江湖2023·2023-10-11 03:05

【联邦学习】联邦学习量化——non-iid数据集下的仿真

文章目录改进项目背景量化函数的改进non-iid数据集的设置Fedlab划分数据集的踩雷改进项目背景在前面的项目中，虽然对联邦学习中，各个ue训练出来的模型上传的参数进行了量化，并仿真的相关结果。
QinZheng7575·2023-10-11 00:32

知识蒸馏——教师网络和学生网络选择问题

在进行知识蒸馏（KnowledgeDistillation）时，选择合适的教师网络和学生网络对于任务的成功实现至关重要。
佐咖·2023-10-10 09:17

关于“资源分配”的知识储备

目录异构网络系统异构和异构统计用户调度联邦学习深度学习模型部署“传统资源分配”和“基于DL的资源分配”任务卸载决策、资源约束下的任务分配、存在优先级的任务调度/卸载启发式算法异构网络定义异构网络(HeterogeneousNetwork
一去不复返的通信er·2023-10-09 12:52

基于知识蒸馏的夜间低照度图像增强及目标检测

“人工智能技术与咨询”发布摘要为了实现夜间低照度图像的增强，提高目标检测模型在夜间低照度条件下的检测精度并减小模型的计算成本，提出了一种基于知识蒸馏和数据增强的夜间低照度图像增强以及目标检测多任务模型，
龙腾亚太·2023-10-09 05:03

DKD蒸馏复现

知识蒸馏主要分两类：1：基于logits2：基于featurelogits蒸馏主要是在早期，后期效果逐步被基于feature蒸馏超越。
微风❤水墨·2023-10-09 03:21

FBL-ET：一个基于事件触发器的联邦宽度学习框架

FBL-ET:Afederatedbroadlearningframeworkbasedoneventtrigger目前，一些研究在联邦学习客户端上使用宽度学习系统。
喜欢吃素的灰太狼·2023-10-08 07:59

基于知识蒸馏的两阶段去雨去雪去雾模型学习记录(二）之知识收集阶段

前面学习了模型的构建与训练过程，然而在实验过程中，博主依旧对数据集与模型之间的关系有些疑惑，首先是论文说这是一个混合数据集，但事实上博主在实验时是将三个数据集分开的，那么在数据读取时是如何混合的呢，是每个epoch使用同一个数据集，下一个epoch再换数据集，还是再epoch中随机取数据集中的一部分。此外，教师模型总共有三个，其模型构造是完全相同的，不同之处在于三个教师模型是在不同的数据集训练得到
彭祥.·2023-10-07 04:29

基于知识蒸馏的两阶段去雨去雪去雾模型学习记录(三)之知识测试阶段与评估模块

去雨去雾去雪算法分为两个阶段，分别是知识收集阶段与知识测试阶段，前面我们已经学习了知识收集阶段，了解到知识阶段的特征迁移模块（CKT)与软损失（SCRLoss）,那么在知识收集阶段的主要重点便是HCRLoss(硬损失）,事实上，知识测试阶段要比知识收集阶段简单，因为这个模块只需要训练学生网络即可。模型创新点在进行知识测试阶段的代码学习之前，我们来回顾一下去雨去雪去雾网络的创新点：首先是提出两阶段的
彭祥.·2023-10-07 04:29

《Secure Analytics-Federated Learning and Secure Aggregation》论文阅读

联邦学习是一种训练数据在多方训练，然后聚合结果得到最终的中心化模型。其中的关键就是多方结果的安全聚合。风险模型有很多用户，假设用户都是诚实但好奇的，即会遵守协议规则，但会通过拼凑
superY25·2023-10-06 17:13

【知识蒸馏】Knowledge Review

摘要知识蒸馏通过将知识从教师网络传递到学生网络，但是之前的方法主要关注提出特征变换和实施相同层的特征。知识回顾KnowledgeReview选择研究教师与学生网络之间不同层之间的路径链接。
pprpp·2023-10-06 16:02

数智交蓉 聚变启航 — KDD China 2023数智未来高峰论坛暨KDD China 2023 Summer School会议笔记

PPT截图版权来自微信公众号言十爱，西南交通大学计算机与人工智能学院官号笔记按照报告类别划分而非报告时间划分，且笔记和感想仅为个人浅见可能存在分类分得比较抓马的情况，主要是初学者搞不清细类别目录1.联邦学习
夏莉莉iy·2023-10-06 13:38

知识蒸馏与伪标签_1：开山之作

受干扰学生论文里提到6篇知识蒸馏及伪标签暗知识的论文，除去较早发表的3篇，包括以下3篇：1.Distillingtheknowledgeinaneuralnetwork（2015），神经网络知识蒸馏的开山之作
Valar_Morghulis·2023-10-06 01:28

知识蒸馏简介（Knowledge Distillation）

简介知识蒸馏的背景知识蒸馏的概念由Hinton在DistillingtheKnowledgeinaNeuralNetwork中提出，目的是把一个大模型或者多个模型集成学到的知识迁移到另一个轻量级模型上。
滑稽的猴子·2023-10-04 02:50

互联网简报10.13

正式成为国内第四大运营商3、李彦宏：百度人工智能技术研发费用占收入19%4、中国电信发布天翼云网门户，面向百行千业提供永远在线的政企服务5、原滴滴出行AI实验室负责人叶杰平加入贝壳找房，任技术副总裁6、京东数科推出自研联邦学习平台
603fe48142de·2023-10-02 08:09

神经网络中的知识蒸馏

多分类交叉熵损失函数：每个样本的标签已经给出，模型给出在三种动物上的预测概率。将全部样本都被正确预测的概率求得为0.70.50.1，也称为似然概率。优化的目标就是希望似然概率最大化。如果样本很多，概率不断连乘，就会造成概率越来越小。对其取对数，使其最大化。在实际运用中，损失函数都是求最小化，所以取负号，将最大化变为最小化。教师–学生网络的方法，属于迁移学习的一种。迁移学习也就是将一个模型的性能迁移
the animal·2023-10-01 22:56

【模型压缩】Distiller学习-初认识

Distiller学习-初认识简介IntelAILab的神经网络压缩框架，建立在Pytorch基础上安装压缩方法权重正则化方法权重剪枝方法训练后量化方法训练时量化方法条件计算低质分解方法知识蒸馏方法总体目录核心代码实现所有案例的配置文件举例初始化网络评价网络模型的参数重要性移除不重要的神经元
luzhoushili·2023-10-01 18:43

联邦学习论文整理

一、综述LimWYB,LuongNC,HoangDT,etal.Federatedlearninginmobileedgenetworks:Acomprehensivesurvey[J].IEEECommunicationsSurveys&Tutorials,2020,2YangQ,LiuY,ChengY,etal.Federatedlearning[J].SynthesisLecturesonA
MrPleom·2023-09-30 21:37

联邦学习的修仙之路_2

目录3.TensorflowFederated指南提纲3.1FederatedLearning（）3.1.1FederatedLearning（）_模型3.1.2FederatedLearning（）_联合计算构建器3.1.3FederatedLearning（）_数据库3.2FederatedCore3.2.1FC类型3.2.2FC构建模块3.TensorflowFederated指南提纲从这篇
一台P4虚拟机·2023-09-30 21:07

Tensorflow Federated Framework 谷歌联邦学习框架

目录TensorflowFederatedFramework谷歌联邦学习框架1、TensorFlowFederatedFramework数据为主整体训练新的语言FederatedLearning(FL)
ZhangJiQun&MXP·2023-09-30 21:36

大规模联邦学习：谷歌的系统设计

大规模联邦学习：谷歌的系统设计摘要：联邦学习是一种分布式机器学习方法，可对大量分散数据进行模型训练。我们已在TensorFlow的基础上为移动设备领域的联合学习构建了可扩展的生产系统。
R2017·2023-09-30 15:33

联邦学习 (FL) 中常见的3种模型聚合方法的 Tensorflow 示例

目录FL的关键概念实现FL的简单步骤Tensorflow代码示例联合学习(FL)是一种出色的ML方法，它使多个设备（例如物联网(IoT)设备）或计算机能够在模型训练完成时进行协作，而无需共享它们的数据。“客户端”是FL中使用的计算机和设备，它们可以彼此完全分离并且拥有各自不同的数据，这些数据可以应用同不隐私策略，并由不同的组织拥有，并且彼此不能相互访问。使用FL，模型可以在没有数据的情况下从更广泛
ZhangJiQun&MXP·2023-09-30 15:02

联邦学习框架--Syft框架

之间建立了标准的通信协议使用tensor链模型有效的override操作实现了DP和MPCPySyft是用于安全和隐私深度学习的Python库，它在主流深度学习框架（例如PyTorch和TensorFlow）中使用联邦学习
M1LKzzz·2023-09-30 15:02

PyTorch实现联邦学习堆叠自编码器

联邦学习是一种用于训练分布在不同设备或地点的模型的技术，其中数据分布在不同的设备上，且不会离开设备。
高山莫衣·2023-09-30 14:02

论文笔记----MEAL V2

即：多老师版的知识蒸馏模型加
静夜寒风·2023-09-29 22:42

TensorFlow-Federated简介与安装

TFF的开发旨在促进联邦学习（FL）的开放研究和实验。
恣睢s·2023-09-28 21:59

【CVPR 2021】基于样本间关系的知识蒸馏：Complementary Relation Contrastive Distillation

【CVPR2021】基于样本间关系的知识蒸馏：ComplementaryRelationContrastiveDistillation论文地址：主要问题：主要思路：算法优点：算法论证：基本符号：优化目标
BIT可达鸭·2023-09-28 19:03

语义表示模型新方向《DistillBert》

知识蒸馏是在较低成本下有效提升预测速度的方法。最近在看知识蒸馏方面的内容，对《DistillBert》做个简单的介绍。提纲1.Bert后演化的趋势2.知识蒸馏基本原理3.
章鱼小丸子vvv·2023-09-28 15:07

基于知识蒸馏的夜间低照度图像增强及目标检测

“人工智能技术与咨询”发布摘要为了实现夜间低照度图像的增强，提高目标检测模型在夜间低照度条件下的检测精度并减小模型的计算成本，提出了一种基于知识蒸馏和数据增强的夜间低照度图像增强以及目标检测多任务模型，
renhongxia1·2023-09-28 05:35

paddle2.3-基于联邦学习实现FedAVg算法

目录1.联邦学习介绍2.实验流程3.数据加载4.模型构建5.数据采样函数6.模型训练1.联邦学习介绍联邦学习是一种分布式机器学习方法，中心节点为server（服务器），各分支节点为本地的client（设备
ZhangJiQun&MXP·2023-09-27 11:45
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他