联邦学习+知识蒸馏

量子计算对密码学的威胁及应对方式

PrimiHub一款由密码学专家团队打造的开源隐私计算平台，专注于分享数据安全、密码学、联邦学习、同态加密等隐私计算领域的技术和内容。当量子计算机问世时，许多加密方式将慢慢失去效果。
PrimiHub·2023-12-15 05:42

基于联邦学习的分布式农业组织

基于此，提出一种结合联邦学习与区块链技术的分布式农业人工智能框架，使得在数据不共享的情况下，能达到训练模型的目的，并可建立参与方的激励机制。
罗思付之技术屋·2023-12-14 22:15

知识蒸馏KL-loss解读

文章目录前言一、KLloss原理二、logit蒸馏网络图示三、KL代码四、运行结果显示前言本文简单介绍知识蒸馏教师模型与学生模型使用KLloss方法。
tangjunjun-owen·2023-12-06 18:44

知识蒸馏去雾：Distilling image dehazing with heterogeneous task imitation

知识蒸馏使得利用教师网络训练学生网络成为可能。然而，大多数的知识蒸馏方法都是应用于图像分类、语义分割或者目标检测的，很少有研究将知识蒸馏应用于不同图像恢复任务之间的知识转移。
lishuoshi1996·2023-12-05 19:07

知识蒸馏测试(使用ImageNet中的1000类dog数据，Resnet101和Resnet18分别做教师模型和学生模型)

当教师网络为resnet101,学生网络为resnet18时：使用蒸馏方法训练的resnet18训练准确率都小于单独训练resnet18，使用蒸馏方法反而导致了下降。当hard_loss的alpha为0.7时，下降了1.1当hard_loss的alpha为0.6时，下降了1.7说明当学生网络和教师网络训练准确率相差不多时，要给hard_loss权重大一点。VanillaKD:RevisittheP
computer_vision_chen·2023-12-03 09:11

《PFL》论文阅读笔记

一、概要随着联邦学习的发展，简单的聚合算法已经不在有效。但复杂的聚合算法使得联邦学习训练时间出现新的瓶颈。
superY25·2023-12-03 09:07

联邦学习--论文汇集（二）

这次总结两篇文章去中心化的联邦学习Hu,Y.,Xia,W.,Xiao,J.,andWu,C.,“GFL:ADecentralizedFederatedLearningFrameworkBasedOnBlockchain
35岁北京一套房·2023-12-02 01:29

基于 PSI 的纵向联邦学习数据隐私安全技术

摘 要：联邦学习系统较好地解决了“数据孤岛”问题，也在一定程度上保护了私密训练数据，然而目前联邦学习仍然存在一些隐私安全风险。
罗思付之技术屋·2023-12-01 10:59

联邦学习面临的瓶颈与挑战

摘要联邦学习（FederatedLearning，FL）是Google公司于2016年首次提出的概念，是一种在隐私约束下进行模型训练的机器学习训练范式。
罗思付之技术屋·2023-12-01 10:59

知识蒸馏（深度学习模型压缩）

模型压缩大体上可以分为5种：模型剪枝：即移除对结果作用较小的组件，如减少head的数量和去除作用较少的层，共享参数等，ALBERT属于这种；量化：比如将float32降到float8；知识蒸馏：将teacher
猿代码_xiao·2023-11-30 21:33

深度学习：什么是知识蒸馏

1概况1.1定义知识蒸馏（KnowledgeDistillation）是一种深度学习技术，旨在将一个复杂模型（通常称为“教师模型”）的知识转移到一个更简单、更小的模型（称为“学生模型”）中。
智慧医疗探索者·2023-11-30 21:29

用了这个方法，两周没变过的模型精度居然提升了（附资源）

作者|DerrickMwiti译者|刘畅编辑|Jane出品|AI科技大本营（ID：rgznai100）【导语】知识蒸馏是一种模型压缩技术，它利用训练好的大网络（教师网络）去教小网络（学生网络）。
AI科技大本营·2023-11-30 19:57

全网最细图解知识蒸馏(涉及知识点：知识蒸馏训练过程，推理过程，蒸馏温度，蒸馏损失函数)

二.为什么要用知识蒸馏把大模型学习到的东西迁移到小模型呢呢？因为大的模型很臃肿，而真正落地的终端算力有限，比如手表，安防终端。所以要把大模型变成小模型，把小模型部署到终端上。
computer_vision_chen·2023-11-30 19:53

分布式机器学习、联邦学习、多智能体的区别和联系——一文进行详细解释

1分布式机器学习、联邦学习、多智能体介绍最近这三个方面的论文都读过，这里写一篇博客归纳一下，以方便搞这几个领域的其他童鞋入门。我们先来介绍以下这三种机器学习范式的基本概念。
别出BUG求求了·2023-11-30 18:28

2022BCS——AI安全论坛

安全研究发现AI安全研究主要集中于：模型鲁棒性（对抗样本攻击）、机密性（成员推理攻击）、完整性（模型后门攻击）e.g.人脸识别身份认证协议的安全威胁：传输过程、感知器件、终端系统、宿主软件、业务代码、识别模型联邦学习
TARO_ZERO·2023-11-30 09:17

知识蒸馏—原理+代码实战(Distillation CNN 和 Progressive Distillation Diffusion)

ProgressiveDistillationDiffusion生成代码实战3.1ProgressiveDistillation原理3.2v-parameterization3.2渐进蒸馏cifar代码实战1.Distillation基本概念知识蒸馏被广泛的用于模型压缩和迁移学习
Yuezero_·2023-11-29 09:58

2022全球隐私计算专利排行榜发布，微众银行位居全球银行业第一

作为国内首家互联网银行，微众银行自成立以来，一直以科技为核心驱动力，在区块链、安全多方计算、联邦学习等方面积极开展
微众区块链·2023-11-29 01:02

什么是隐私计算？隐私计算技术路线

“隐语”是开源的可信隐私计算框架，内置MPC、TEE、同态等多种密态计算虚拟设备供灵活选择，提供丰富的联邦学习算法和差分隐私机制。
隐语SecretFlow·2023-11-27 10:27

阅读记录【arXiv2020】 Adaptive Personalized Federated Learning

AdaptivePersonalizedFederatedLearning论文地址：https://arxiv.org/abs/2003.13461摘要对联邦学习算法个性化程度的研究表明，只有最大化全局模型的性能才会限制局部模型的个性化能力
furoto_·2023-11-26 08:27

阅读记录【PMLR2023】The Aggregation–Heterogeneity Trade-off in Federated Learning

因此，人们开发了多种联邦学习方法来聚合尽可能多的本地样本。与这种观点相反，本文表明，在存在异构性的情况下，
furoto_·2023-11-26 08:57

联邦学习研究综述笔记

联邦学习联邦学习的定义：联邦学习是一种分布式机器学习架构，包含多个客户端（参与者）和一个聚合服务器。
空调不灵·2023-11-25 07:53

机器学习【01】相关环境的安装

学习实例参考资料：联邦学习实战{杨强}https://book.douban.com/subject/35436587/项目地址：https://github.com/FederatedAI/Practicing-Federated-Learning
ihan1001·2023-11-24 16:40

【Soc级系统防御】Soc硬件木马与电子链

这是有区别与隐私计算中的多方安全计算（密码学技术）、联邦学习（融合延伸）等其他可信技术。所以很
安全-Hkcoco·2023-11-21 21:02

【Soc级系统防御】Soc硬件木马与电子链

这是有区别与隐私计算中的多方安全计算（密码学技术）、联邦学习（融合延伸）等其他可信技术。所以很
安全-Hkcoco·2023-11-21 21:32

从新电脑开始构建FATE环境，图文并茂

VMwareWorkStation16安装CentOS7（已安装的可以略过，这部分比较详细内容较多）安装python3（注意网络要保持连接）安装dockerDocker命令下载FATE项目Fate命令横向联邦学习样例横向联邦学习样例写在
桐青冰蝶Kiyotaka·2023-11-21 04:15

PP-OCR笔记

目录检测det数据准备数据格式训练模型微调数据选择模型选择前沿算法与模型训练超参选择预测超参选择启动训练断点训练更换Backbone训练添加新算法混合精度训练分布式训练知识蒸馏训练其他训练环境评估、预测导出
贺一诺·2023-11-19 08:36

【L2GD】: 无环局部梯度下降

文章链接：FederatedLearningofaMixtureofGlobalandLocalModels发表期刊（会议）:ICLR2021Conference（机器学习顶会）往期博客：FLMix:联邦学习新范式
恭仔さん·2023-11-17 09:46

【联邦学习+区块链】TORR: A Lightweight Blockchain for Decentralized Federated Learning

文章目录I.CONTRIBUTIONII.ASSUMPTIONSANDTHREATMODELA.AssumptionsB.ThreatModelIII.SYSTEMDESIGNA.DesignOverviewB.BlockDesignC.InitializationD.RoleSelectionE.StorageProtocolF.AggregationProtocolG.ProofofRelia
WuwuwuwH_·2023-11-17 01:59

知识蒸馏：如何用一个神经网络训练另一个神经网络

作者：TivadarDanka编译：ronghuaiyang来源：AI公园导读知识蒸馏的简单介绍，让大家了解知识蒸馏背后的直觉。
Imagination官方博客·2023-11-16 21:16

神经网络 mse一直不变_神经网络中的蒸馏技术，从Softmax开始说起

↑点击蓝字关注极市平台作者丨SayakPaul、ronghuaiyang(译)来源丨AI公园编辑丨极市平台极市导读本文讨论了一种模型优化技术——知识蒸馏。
weixin_39804620·2023-11-16 21:46

神经网络中的蒸馏技术，从Softmax开始说起

点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达作者：SayakPaul编译：ronghuaiyang导读从各个层次给大家讲解模型的知识蒸馏的相关内容，并通过实际的代码给大家进行演示
小白学视觉·2023-11-16 21:14

知识蒸馏（Pytorch入门）

知识蒸馏：Hinton2015年在论文《Distillingtheknowledgeinaneuralnetwork》中首次提出，并应用在分类任务上，大模型称为teacher(教师模型),小模型称为Student
我有明珠一颗·2023-11-16 06:48

联邦学习 FATE 框架安装运行

Centos7.5平台下运行联邦学习FATE框架的Example引言最近的课题方向就是基于联邦学习的框架进行数据分析处理，有一些粗浅的认识，但是搜寻资料散乱杂多，自己也记不太清楚，在虚拟机上也经常出错崩溃
Van�·2023-11-13 15:58

从隐私悖论到隐私工程

例如，联邦学习与大模型的结合目前还面临着许多挑战，包括安全威胁及防御、隐私威胁与增强、效率问题以及处理非独立同分布（Non-IID）数据等问题。这些问题可能会对用户的隐私造成潜在的威胁。
半吊子全栈工匠·2023-11-13 11:49

联邦学习的梯度重构

联邦学习中的梯度出现挑战：暴露原始训练数据的某些属性利用生成对抗网络生成与私有训练图像类似的图片尽管许多研究已经证实从梯度中重构原始数据的可能性，这些研究通常基于一个前提假设，即用户上传的梯度是全梯度。
白兔1205·2023-11-12 23:48

学者观察 | 联邦学习与区块链、大模型等新技术的融合与挑战-北京航空航天大学童咏昕

为解决原始数据自主可控与数据跨区域流动之间的矛盾，联邦学习这项技术应运而生。
长安链开源社区·2023-11-12 15:24

知识蒸馏概述及开源项目推荐

文章目录1.介绍2.知识2.1基于响应的知识（response-based）2.2基于特征的知识(feature-based)2.3基于关系的知识(relation-based)3.蒸馏机制3.1离线蒸馏3.2在线蒸馏3.3自蒸馏4.教师-学生架构5.蒸馏算法5.1对抗性蒸馏（AdversarialDistillation）5.2多教师蒸馏（Multi-teacherDistillation）5.
@BangBang·2023-11-12 13:39

对知识蒸馏的一些理解

知识蒸馏是一种模型压缩技术，它通过从一个大模型（教师模型）中传输知识到一个小模型（学生模型）中来提高学生模型的性能，知识蒸馏也要用到真实的数据集标签。
重剑DS·2023-11-11 17:38

FedAT：分层机制更新的联邦学习

文章链接：FedAT:ACommunication-EfficientFederatedLearningMethodwithAsynchronousTiersunderNon-IIDData发表会议:SC’21(InternationalConferenceforHighPerformanceComputing,Networking,Storage,andAnalysis)高性能计算，体系结构领域
恭仔さん·2023-11-08 15:40

Towards Personalized Federated Learning（个性化联邦学习综述）文献阅读

基本内容文章：TowardsPersonalizedFederatedLearning作者：AlysaZiyingTan,HanYu∗,LizhenCui∗,andQiangYang∗机构：AlysaZiyingTaniswiththeSchoolofComputerScienceandEngineering,NanyangTechnologicalUniversity,Singapore;Ali
_RichardYang·2023-11-08 08:14

联邦图机器学习（综述阅读）

目录一、联邦图机器学习的介绍二、联邦图机器学习的类型三、具有结构化数据的联邦学习（FLWithStructuredData）3.1跨客户端信息重构3.2重叠实例对齐3.3非独立同分布数据适配3.3.3基于单一全局模型的方法
大菠菠菠萝·2023-11-08 08:13

【联邦学习-论文阅读】Towards Personalized Federated Learning

题目：个性化联邦学习作者：AlysaZiyingTan,HanYu,Member,IEEE,LizhenCui,Member,IEEE,andQiangYang,Fellow,IEEE期刊：IEEETRANSACTIONSONNEURALNETWORKSANDLEARNINGSYSTEMS
一只小maru·2023-11-08 08:42

个性化联邦学习-综述

介绍阅读的三篇个性化联邦学习的经典综述文章ThreeApproachesforPersonalizationwithApplicationstoFederatedLearning论文地址文章的主要内容介绍了用户聚类
jieHeEternity·2023-11-08 08:41

论文阅读_知识蒸馏_MobileBERT

英文题目：MobileBERT:aCompactTask-AgnosticBERTforResource-LimitedDevices中文题目：MobileBERT：面向资源有限设备的任务无关的压缩模型论文地址：https://arxiv.org/pdf/2004.02984领域：自然语言处理，模型蒸馏发表时间：2020作者：ZhiqingSun，卡内基梅隆大学，谷歌出处：ACL被引量：162代码
xieyan0811·2023-11-06 19:28

【神经网络架构搜索】DNA: Block-wisely Supervised NAS with KD

【GiantPandaCV导语】知识蒸馏结合NAS的一篇工作，提出了DNA，让教师网络来指导超网的学习。这个工作将知识蒸馏非常深入的融合在一起，有很强的创新性，已被CVPR20接收。
pprpp·2023-11-04 07:28

基于图神经网络的联邦学习跨企业推荐

FederatedLearning-BasedCross-EnterpriseRecommendationWithGraphNeuralNetworks论文试图解决什么问题该论文试图解决跨企业推荐系统中存在的数据共享和用户隐私保护的问题。在许多小型和中型企业中，由于资源有限，无法提供足够的数据来进行大规模的模型训练，也不能购买用户数据。同时，由于用户数据隐私保护法律的限制，这些企业也无法与其他企业
jieHeEternity·2023-11-04 01:54

FedFast: Going Beyond Average for Faster Training of Federated Recommender Systems

超越平均水平更快训练联邦推荐系统idea类似的一篇论文参考博客论文试图解决什么问题该论文试图解决在联邦学习中训练推荐系统的速度和准确性问题。
jieHeEternity·2023-11-04 01:23

Dual Personalization on Federated Recommendation

这种机制能够在联邦学习框架中为每个本地模型学习用户特定的物品嵌入，从而显著提升推荐系统的效果。
jieHeEternity·2023-11-04 01:50

SSD-1B：Segmind的加速稳定扩散模型

SSD-1B模型采用知识蒸馏策略，连续利用多个专家模型（包括SDXL、ZavyChromaXL和JuggernautXL）的教学，结合
新缸中之脑·2023-11-03 10:59

基于生成对抗网络的知识蒸馏数据增强

基于生成对抗网络的知识蒸馏数据增强期刊：计算机工程C时间：2022研究院：武汉工程大学关键词：数据增强；神经网络分类器；工业视觉；生成对抗网络；知识蒸馏方法简介思想来源：仅对原标签做简单的线性变化或直接使用原标签作为新样本标签的方法是无法表示标签中离散信息的
HoraceO·2023-11-03 06:16
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他