联邦学习+知识蒸馏

【知识蒸馏】Deep Mutual Learning

【GiantPandaCV导语】DeepMutualLearning是KnowledgeDistillation的外延，经过测试（代码来自Knowledge-Distillation-Zoo),DeepMutualLearning性能确实超出了原始KD很多，所以本文分析这篇CVPR2018年被接受的论文。同时PPOCRv2中也提到了DML，并提出了CML，取得效果显著。引言首先感谢：https:/
pprpp·2023-09-19 06:56

【Mo 人工智能技术博客】联邦学习鲁棒性及相关论文分享

【技术博客】联邦学习鲁棒性及相关论文分享叶寅1背景知识联邦学习系统比较容易受到各种错误的影响。
Momodel平台·2023-09-18 22:57

《META KNOWLEDGE CONDENSATION FOR FEDERATED LEARNING》

全文简介作者说，现在的联邦学习都是交换模型参数，但是，这会在服务器和多个客户机之间产生严重的通信负担。
volcanical·2023-09-18 17:30

【技术博客】通过量化知识来解释知识蒸馏

【技术博客】****通过量化知识来解释知识蒸馏知识蒸馏介绍知识蒸馏（KnowledgeDistillation）最早是在2006年由Bulica提出的，在2014年Hinton对知识蒸馏做了归纳和发展。
MomodelAI·2023-09-16 15:41

知识蒸馏学习

知识蒸馏----教师和学生模型：将已训练完善的模型作为教师模型，通过控制“温度”从模型的输出结果中“蒸馏”出“知识”用于学生模型的训练，并希望轻量级的学生模型能够学到教师模型的“知识”，达到和教师模型相同的表现
魔法橘子·2023-09-11 12:14

联邦学习：对“数据隐私保护”和“数据孤岛”困境的破局

作者：vivo互联网安全团队-TuDaxi随着计算力、算法和数据量的巨大发展，人工智能迎来第3次发展高潮，开始了各行业的落地探索。然而，在“大数据”兴起的同时，更多行业应用领域中是“小数据”或者质量很差的数据。“数据孤岛”现象广泛存在，例如在信息安全领域的应用中，虽然多家企业推出了基于人工智能技术的内容安全审核、入侵检测等安全服务，但出于用户隐私和商业机密的考虑，企业之间很难进行原始数据的交换，各
·2023-09-11 11:54

Ensemble distillation for robust model fusion in federated learning论文笔记

  本文将集成蒸馏运用在联邦学习的模型融合中，并且可以通过未标记的数据或者生成器生成的数据（例如gan）来进行进行模型融合。这让不同客户端的模型异构的前提下，降低了数据隐私泄露的程度。
Zoran_卓·2023-09-11 06:04

"联邦学习"和它的朋友们

最近，我们所从事的行业领域“联邦学习”异常火热，“上云用数赋智”、“数据成为生产要素之一”、“新基建之一的大数据”……我有时候给同行和非同行讲述各行各业都需要用到我们这个技术，来保证企业生产提效过程中使用数据的安全
hellompc1·2023-09-10 08:06

深度学习概念（术语）：Fine-tuning、Knowledge Distillation, etc

文章目录1.Fine-tuning(微调)2.TransferLearning(迁移学习)3.KnowledgeDistillation(知识蒸馏)4.MetaLearning(元学习)这里的相关概念都是基于已有预训练模型
猛码Memmat·2023-09-10 01:23

IJCAI 2023 直播预告| 8月31日

哔哩哔哩直播通道扫码关注AITIME哔哩哔哩官方账号预约直播15:00—15:20廖馨婷基于双曲空间探索的非独立同分布联邦学习15:20—15:40吴南楠面向不平衡医学数据的联邦带噪学习15:40—16
AITIME论道·2023-09-09 13:29

AI+计算病理学：从前沿技术到临床应用|明晚19:30 【PhD Debate-18】

日19:30—21:3019:40-19:50侯文太图卷积网络驱动的组织病理图像智能分析方法19:50-20:00林天成基于因果干预的全景病理图多实例学习方法20:00-20:10曲麟昊基于双向弱监督知识蒸馏的全切片病理图像分类方法
AITIME论道·2023-09-09 13:58

AI+计算病理学：从前沿技术到临床应用|8月24日预告 【PhD Debate-18】

日19:30—21:3019:40-19:50侯文太图卷积网络驱动的组织病理图像智能分析方法19:50-20:00林天成基于因果干预的全景病理图多实例学习方法20:00-20:10曲麟昊基于双向弱监督知识蒸馏的全切片病理图像分类方法
AITIME论道·2023-09-09 13:28

论文周报 | 推荐系统领域最新研究进展

嘿，记得给“机器学习与推荐算法”添加星标本周精选了10篇最新推荐系统相关的论文，方向主要包括基于表示学习、联邦学习以及自动机器学习等的推荐算法，应用涵盖会话推荐、序列推荐以及组推荐等。
机器学习与推荐算法·2023-09-09 12:42

读书笔记：多Transformer的双向编码器表示法(Bert)-1

架构的入门学习：介绍Transformer架构，理解编码器和解码器的工作原理；掌握Bert模型架构的各个部分，了解如何进行模型的预训练、模型微调（将预训练的结果用于下游任务）；学习Bert的不同变体、基于知识蒸馏的变
baby_hua·2023-09-09 05:52

3种轻量化框架总结

知识蒸馏也是不错的办法，用大模型作为老师，通过知识蒸馏让大模型教导出小模型来实现参数量和计算量的减少
博观而约取,厚积而薄发·2023-09-08 07:05

联邦学习：对“数据隐私保护”和“数据孤岛”困境的破局

作者：vivo互联网安全团队-TuDaxi随着计算力、算法和数据量的巨大发展，人工智能迎来第3次发展高潮，开始了各行业的落地探索。然而，在“大数据”兴起的同时，更多行业应用领域中是“小数据”或者质量很差的数据。“数据孤岛”现象广泛存在，例如在信息安全领域的应用中，虽然多家企业推出了基于人工智能技术的内容安全审核、入侵检测等安全服务，但出于用户隐私和商业机密的考虑，企业之间很难进行原始数据的交换，各
vivo互联网技术·2023-09-07 18:26

视觉大模型高效应用方法盘点（内附论文代码）

例如，可以使用剪枝算法去除冗余参数、使用量化技术将模型参数量化为低精度数值、或者使用知识蒸馏技术将大模型的知识转移至小模型中。
PaperWeekly·2023-09-05 23:40

深入理解联邦学习——联邦学习与现有理论的区别与联系

分类目录：《深入理解联邦学习》总目录作为一种全新的技术，联邦学习在借鉴一些成熟技术的同时也具备了一定的独创性。下面我们就从多个角度来阐释联邦学习和其他相关概念之间的关系。
von Neumann·2023-09-05 07:26

深入理解联邦学习——联邦学习的分类：基础知识

分类目录：《深入理解联邦学习》总目录在实际中，孤岛数据具有不同分布特点，根据这些特点，我们可以提出相对应的联邦学习方案。下面，我们将以孤岛数据的分布特点为依据对联邦学习进行分类。
von Neumann·2023-09-05 04:17

知识蒸馏实战：使用CoatNet蒸馏ResNet

学生网络步骤导入需要的库定义训练和验证函数定义全局参数图像预处理与增强读取数据设置模型和Loss蒸馏学生网络步骤导入需要的库定义蒸馏函数定义训练和验证函数定义全局参数图像预处理与增强读取数据设置模型和Loss结果比对总结摘要知识蒸馏
静静AI学堂·2023-09-04 13:23

Privacy-Preserving federated learning An application for big data load forecast in buildings

S0167404823001219loadforecastinbuildings-ScienceDirect摘要：说明背景：大数据分析和预测的重要地位存在问题：负荷预测模型需要消耗大量的关键词：足够种类的数据才能达到高精度，同时这些数据是敏感的;带宽消耗提出使用联邦学习
白兔1205·2023-09-04 08:15

知识蒸馏综述：代码整理

全称：DistillingtheKnowledgeinaNeuralNetwork链接：https://arxiv.org/pdf/1503.02531.pdf发表：NIPS14最经典的，也是明确提出知识蒸馏概念的工作
pprpp·2023-09-03 18:52

最详细完整版综述论文翻译“Advances and Open Problems in Federated Learning”

AdvancesandOpenProblemsinFederatedLearning”翻译分享AdvancesandOpenProblemsinFederatedLearning这篇论文全面调研和概述了联邦学习中的最新进展和开放问题
YWENROU-·2023-09-02 10:58

Paper推荐｜「隐私集合求交PSI系列」奖励升级，有机会提名隐语社区之星

“隐语”是开源的可信隐私计算框架，内置MPC、TEE、同态等多种密态计算虚拟设备供灵活选择，提供丰富的联邦学习算法和差分隐私机制。
·2023-09-01 11:39

隐语纵向联邦 SecureBoost Benchmark白皮书

“隐语”是开源的可信隐私计算框架，内置MPC、TEE、同态等多种密态计算虚拟设备供灵活选择，提供丰富的联邦学习算法和差分隐私机制。
·2023-08-31 17:33

移动边缘网络中联邦学习效率优化综述

摘要：联邦学习将模型训练任务部署在移动边缘设备，参与者只需将训练后的本地模型发送到服务器参与全局聚合而无须发送原始数据，提高了数据隐私性．解决效率问题是关键设备与服务器之间的通信消耗——通信——通信具体来说
Zh1N1an·2023-08-31 05:04

001 A Comprehensive Survey of Privacy-preserving Federated Learning（便于寻找：FedAvg、垂直联邦学习的基本步骤）

这是我看的第一篇关于联邦学习的论文，综述文章，让我对联邦学习有了初步的了解。
联邦调查局石大分局·2023-08-31 05:30

联邦学习FedAvg-基于去中心化数据的深度网络高效通信学习

为解决上述问题，谷歌提出了联邦学习（FL，federatedlearni
山科智能信息处理实验室·2023-08-31 05:56

联邦学习fate框架入门

1.拉取镜像dockerpullfederatedai/standalone_fate:1.7.02.启动容器dockerrun-d-it--namefate-p8080:8080federatedai/standalone_fate:1.7.0/bin/bash3.进入容器dockerexec-itfate/bin/bash4.训练模型4.1准备一份csv文件也可以用容器内的样例数据，目录在/d
Young_____Hu·2023-08-30 01:49

开源 SD-Small 和 SD-Tiny 知识蒸馏代码与权重

最近，人工智能社区在开发更大、更高性能的语言模型方面取得了显著的进展，例如Falcon40B、LLaMa-270B、Falcon40B、MPT30B;以及在图像领域的模型，如SD2.1和SDXL。这些进步无疑推动了人工智能的发展，使其具有高度多功能和最先进的图像生成和语言理解能力。然而，在我们惊叹于这些模型的强大和复杂性之余，必须认识到一个日益增长的需求:使人工智能模型体量更小、运行更高效、更易于
·2023-08-29 21:24

隐语小课｜两方安全计算ABY2.0 高效的2PC协议

“隐语”是开源的可信隐私计算框架，内置MPC、TEE、同态等多种密态计算虚拟设备供灵活选择，提供丰富的联邦学习算法和差分隐私机制。
·2023-08-29 10:30

【联邦学习+区块链】Blockchain-based decentralized federated learning: A secure and privacy-preserving system

文章目录INTRODUCTIONTHEFRAMEWORKOFBFLSPA.WorkingFlowofBFLSPB.BlockDivisionandStorageStructureC.ScoringMechanismD.NodeElectionMechanismCONCLUSION论文地址：https://www.researchgate.net/profile/Endong-Tong/public
WuwuwuwH_·2023-08-28 16:06

联邦学习：对“数据隐私保护”和“数据孤岛”困境的破局

作者：vivo互联网安全团队-TuDaxi随着计算力、算法和数据量的巨大发展，人工智能迎来第3次发展高潮，开始了各行业的落地探索。然而，在“大数据”兴起的同时，更多行业应用领域中是“小数据”或者质量很差的数据。“数据孤岛”现象广泛存在，例如在信息安全领域的应用中，虽然多家企业推出了基于人工智能技术的内容安全审核、入侵检测等安全服务，但出于用户隐私和商业机密的考虑，企业之间很难进行原始数据的交换，各
·2023-08-24 12:12

干货分享：可证明安全的隐私计算

“隐语”是开源的可信隐私计算框架，内置MPC、TEE、同态等多种密态计算虚拟设备供灵活选择，提供丰富的联邦学习算法和差分隐私机制。
·2023-08-24 11:54

知识继承概述

文章目录知识继承第一章知识继承概述1.背景介绍第一页背景第二页大模型训练成本示例第三页知识继承的动机2.知识继承的主要方法第二章基于知识蒸馏的知识继承预页方法概览1.知识蒸馏概述第一页知识蒸馏概述第二页知识蒸馏第三页什么是知识第四页知识蒸馏的核心目的第五页知识的表示与迁移第六页
小白的Soda·2023-08-23 10:25

根据学生学习水平量身定制指导以促进知识蒸馏的效果

文章目录TailoringInstructionstoStudent’sLearningLevelsBoostsKnowledgeDistillation一、PPT内容P1BackgroundP2L2T--onlinedistillationP3L2T--MetadistillationP4Approach--LGTMP5DistillationinfluenceP6Finitedifferenc
小白的Soda·2023-08-23 10:25

通用语言模型蒸馏-GLMD

文章目录GLMD一、PPT内容论文背景P1BackgroundP2Approach相关知识P3知识蒸馏P4语言建模词预测逻辑方法P5两阶段词汇预测蒸馏P6P7词汇压缩实验结果P8results二、论文泛读
小白的Soda·2023-08-23 10:22

隐私计算技术解读 | 一文读懂SealPIR-基于同态的隐私信息检索协议

“隐语”是开源的可信隐私计算框架，内置MPC、TEE、同态等多种密态计算虚拟设备供灵活选择，提供丰富的联邦学习算法和差分隐私机制。
·2023-08-21 11:25

基于知识蒸馏的两阶段去雨、雪、雾算法调试记录

前言该项目的介绍可以参考博主这篇博文：基于知识蒸馏的去雪、去雾、去雨算法调试过程该项目中inference.py可以直接使用，只要将student的权重文件放入即可，博主实验过其去噪后的结果，貌似是变清晰了一点
彭祥.·2023-08-21 11:55

Knowledge Distillation and Student-Teacher Learning for Visual Intelligence

视觉智能的知识蒸馏与学生-老师学习:回顾与新展望摘要1引言2KD是什么？为什么要关注它？3KD的理论分析4基于教师数量的KD4.1从一个老师进行蒸馏4.1.1来自logit
UnknownBody·2023-08-19 15:22

理解softlabel的好处

从标签平滑和知识蒸馏理解SoftLabel-极市社区从softmax的损失函数曲线上理解，hardlabel监督下，由于softmax的作用，one-hot的最大值位置无限往1进行优化，但是永远不可能等于
江汉似年·2023-08-19 14:56

隐私计算技术｜深度解读可信隐私计算框架“隐语

“隐语”是开源的可信隐私计算框架，内置MPC、TEE、同态等多种密态计算虚拟设备供灵活选择，提供丰富的联邦学习算法和差分隐私机制。
·2023-08-18 15:46

什么是隐私计算？隐私计算技术路线

“隐语”是开源的可信隐私计算框架，内置MPC、TEE、同态等多种密态计算虚拟设备供灵活选择，提供丰富的联邦学习算法和差分隐私机制。
·2023-08-17 17:47

【KD】2023 ICML Linkless Link Prediction via Relational Distillation

为了同时利用这两种模型的优点，即在快速预测的同时保持较高的预测准确性，我们提出了基于知识蒸馏的链接预测方法，将GNN中的知识通过蒸馏的方式教给学生MLP
静静喜欢大白·2023-08-17 01:53

纵向联邦学习-HeteroBoosting

定义在数据集上具有相同的样本空间、不同的特征空间的参与方所组成的联邦学习归类为纵向联邦学习（VerticalFederatedLearning，VFL），也可以理解为按特征划分的联邦学习。
Gary134·2023-08-16 22:54

概念解析 | 知识蒸馏(Knowledge Distillation)

教师指点弟子-深度神经网络知识蒸馏技术详解注1:本文系“概念解析”系列之一,致力于简洁清晰地解释、辨析复杂而专业的概念。本次辨析的概念是:知识蒸馏(KnowledgeDistillation)。
R.X. NLOS·2023-08-15 08:33

知识蒸馏，teacher and studenet 网络

我发现这个知识蒸馏训练的思路真的很好。我看完以后发现可以做的事很多。知识蒸馏是利用从一个大型模型或模型集合中提取的知识来训练一个紧凑的神经网络。
skyfengye·2023-08-13 09:05

如何在三至六个月写一篇联邦学习领域的论文？

一、选题并制定时间计划首先，在选择联邦学习领域的研究课题时，要确保选择一个具有研究价值、切实可行的课题。
一个路过的小码农·2023-08-13 05:26

大模型的数据隐私问题有解了，浙江大学提出联邦大语言模型

而面对着公共领域数据的稀缺性以及私有领域的数据隐私问题，联邦学习（FederatedLearning）作为一种分布式的机器学习框架吸引了许多关注。
夕小瑶·2023-08-11 19:48

【超分引导的低分图像知识蒸馏】

Super-resolutionguidedknowledgedistillationforlow-resolutionimageclassification（超分辨率引导的低分辨率图像分类知识蒸馏）随着深度卷积神经网络的发展
小郭同学要努力·2023-08-11 14:33
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他