联邦学习+知识蒸馏

基于知识蒸馏的车辆可行驶区域分割算法研究

基于知识蒸馏的车辆可行驶区域分割算法研究期刊：汽车技术时间：2020研究院：同济大学关键词：知识蒸馏可行驶区域图像分割卷积神经网络前言2014年，LongJ[1]等人提出使用全卷积神经网络（FullyConvolutionalNetworks
HoraceO·2023-11-03 06:16

基于知识蒸馏的单幅图像去雾方法

基于知识蒸馏的单幅图像去雾方法期刊：计算机工程C时间：2022研究院：南京邮电大学关键词：图像去雾；生成对抗网络；知识蒸馏；教师网络；学生网络相关工作基于学习的方法通过利用卷积神经网络（CNN）从大量训练数据中提取图像特征
HoraceO·2023-11-03 06:16

基于知识蒸馏的心律失常分类模型

基于知识蒸馏的心律失常分类模型期刊：电子设计工程时间：2022研究院：中国科学院微电子研究所，硕士关键词：心律失常；卷积神经网络；注意力；知识蒸馏ECG心律失常分类ECG心律失常分类模型一般分为3个步骤
HoraceO·2023-11-03 06:16

【联邦学习论文阅读】（AAAI-2021）Secure Bilevel Asynchronous Vertical Federated Learning with Backward Updating

论文链接：https://ojs.aaai.org/index.php/AAAI/article/view/17301摘要提出一种新颖的融合了反向更新和双层异步并行的垂直联邦学习框架（VFB2），以及在此框架下的
Momahe·2023-11-02 19:54

6.Paper小结——《A Privacy-Preserving and Verifiable FederatedLearning Scheme》

题目：《APrivacy-PreservingandVerififiableFederatedLearningScheme》一个隐私保护和可验证的联邦学习方案0.Abstract由于数据环境的复杂性，许多组织更倾向于通过共享训练集来一起训练深度学习模型
DK_521·2023-11-02 19:52

学习笔记 | Threats to Federated Learning-A Survey

摘要文章意图让研究者意识到联邦学习中隐私保护的重要性，并对攻击进行分类：poisoningattacks投毒攻击inferenceattacks推断攻击引言联邦学习的分类horizontallyfederatedlearning
Una@learn·2023-11-02 19:20

《NTP-VFL - A New Scheme for Non-3rd Party Vertical Federated Learning》模型原理

一、概要目前现存算法的三个局限性：理论上的可信三方现实不存在，通常是联邦学习的主要瓶颈。通信和计算成本随着迭代次数的提升，增长很快。扩展性不好，隐私保护的最优模型在两方和多方中不兼容。
superY25·2023-11-02 19:16

Incremental Object Detection via Meta-Learning【论文解析】

已经有一些努力来解决这个限制，它们都应用了知识蒸馏的变体来避免灾难性遗忘。然而，我们注意到
黄阳老师·2023-11-02 14:55

中国电子云-隐私计算-云原生安全可信计算，物理-硬件-系统-云产品-云平台，数据安全防护

目录联邦学习的架构思想中国电子云-隐私计算-云原生安全可信计算，物理-硬件-系统-云产品-云平台，数据安全防护全栈国产信创的意义1.提升科技创新能力2.推动经济发展3.加强信息安全与自主可控全栈国产信创的重要领域
ZhangJiQun&MXP·2023-11-02 14:40

hello干货：联邦学习工程实践中的三大难题

“实践是检验真理的唯一标准”，联邦学习谈概念的文章已经很多，今天我们来从实践中聊几个实事求是的问题。联邦学习领域已有众多论文支撑，但在实践中，因为涉及到多学科的交叉，真正能落地应用的平台，少之又少。
hellompc1·2023-11-02 06:15

深入理解横向联邦学习

联邦学习联邦学习是Google在2017年提出来的，旨在在保护用户隐私的情况下使用用户更敏感的数据来训练机器学习模型。
金色暗影·2023-11-02 04:33

YOLOv8改进之C2f模块融合CVPR2023 SCConv

虽然过去用于改善网络效率的各种模型压缩策略和网络设计，包括网络剪枝、权重量化、低秩分解和知识蒸馏等。然而，这些方法都被视为后处理步骤，因此它们的性能通常受到给定初始模型的上限约束。而网络设计另辟
山河亦问安·2023-11-01 13:33

如何用大模型蒸馏一个yolo模型？（一）

YOLO9000:Better,Faster,Stronger"byJosephRedmonandAliFarhadi.这篇论文介绍了YOLOv2模型，并提出了使用知识蒸馏的方法来进一步提升模型的性能。
hi小蜗·2023-10-31 14:19

ICLR2023 联邦学习论文合集

点击蓝字关注我们AITIME欢迎每一位AI爱好者的加入！国际表征学习大会（InternationalConferenceonLearningRepresentations，简称ICLR）是深度学习领域的顶级会议，关注有关深度学习各个方面的前沿研究，在人工智能、统计和数据科学领域以及机器视觉、语音识别、文本理解等重要应用领域中发布了众多极其有影响力的论文。AMiner通过AI技术，对ICLR2023
AITIME论道·2023-10-31 11:42

27.深度学习模型压缩方法-1

量化、低秩分解、迁移学习等方法，而这些方法又可分为前端压缩和后端压缩27.1前端压缩和后端压缩对比对比项目前端压缩后端压缩含义不会改变原始网络结构的压缩技术会大程度上改变原始网络结构的压缩技术主要方法知识蒸馏
大勇任卷舒·2023-10-29 21:57

联邦学习与推荐系统

andModelAdaptation](https://dl.acm.org/doi/abs/10.1145/3511808.3557668)CIKM2022(CCF-B)论文精读Abstract联邦推荐的背景：联邦推荐使用联邦学习技术
jieHeEternity·2023-10-29 18:58

2023年1月份隐私计算市场概述

1月份隐私计算、联邦学习的市场概览摘要：在隐私计算市场中，三大信息流：采购意向、招标信息、中标信息，如三股清流，在市场中奔腾。
小夏 科技·2023-10-29 09:49

迁移学习在金融行业的应用探索

关键词：迁移学习,联邦学习1.引言迁移学习（TransferLearning）是一种机器学习技术，它通过将某个领域或任务上学习到的知识或模式应用到不同但相关的领域或问题中。
eric_edison·2023-10-29 09:39

读书笔记-增量学习-EEIL_End-to-End Incremental Learning

基于Distillation知识蒸馏从旧数据中提取代表性样本、Crossentropy交叉熵学习新数据。题目的End-to-End指的是能同时训练更新Classification分类器和代
谷粤狐·2023-10-29 00:16

大模型知识蒸馏概述

而大模型压缩主要分为如下几类：剪枝（Pruning）知识蒸馏（KnowledgeDistillation）量化（Quantization）低秩分解（Lo
zenRRan·2023-10-28 00:38

CRD3 小陈读paper

这个比较适合看图Experiments我们在三个知识蒸馏任务中评估我们的对比表示蒸馏(CRD)框架：（a）大型网络的模型压缩到较小的网络；(b)跨模态知识转移；(c)从一组教师到单个学生网络的集成蒸馏。
：）�东东要拼命·2023-10-27 09:08

还是忍不住对对比学习的知识蒸馏动手了（CRD1） 小陈读paper

这篇发布在ICLR2020上名副其实的顶刊看这个作者阵容也是十分的给力哈哈哈哈确实很摘要第一句话：通常我们希望将表征知识从一个神经网络转移到另一个神经网络。其实做蒸馏或者看蒸馏领域的确实是这种感悟没毛病的第二三两句：在介绍KD是什么东西第四句话：存在的问题：我们证明了这个目标忽略了教师网络的重要结构知识。第五句话，第六句话：解决方案这激发了另一个目标，在该目标中，我们训练学生在教师数据表示中捕获更
：）�东东要拼命·2023-10-27 09:07

CRD2 值得一读的知识蒸馏与对比学习结合的paper 小陈读paper

一定要读真的是不一样的收获啊不知道屏幕前的各位get到了没有Hintonetal.(2015)introducedtheideaoftemperatureinthesoftmaxoutputstobetterrepresentsmallerprobabilitiesintheoutputofasinglesample.Hinton等人(2015)引入了softmax输出中温度的思想，以更好地表示单
：）�东东要拼命·2023-10-27 09:07

NeurIPS 2023 | FedFed：特征蒸馏应对联邦学习中的数据异构

在本文中，我们提出了一种新的即插即用的联邦学习模块，FedFed，其能够以特征蒸馏的方式来解决联邦场景下的数据异构问题。
TechBeat人工智能社区·2023-10-26 12:52

Knowledge Distillation (3) 看样本下菜的FastBERT

更好的阅读体验请跳转至KnowledgeDistillation(3)看样本下菜的FastBERT之前KnowledgeDistillation相关的两篇分别介绍了两种知识蒸馏的方式：模型替换之bert-of-theseus
小蛋子·2023-10-25 17:43

联邦学习笔记（五）：联邦学习模型压缩提升通讯效率

联邦学习模型压缩联邦学习流程数据处理模型构造模型压缩函数模型广播和聚合函数模型训练其他函数结果模型准确率和loss值模型准确率模型loss值联邦学习传输数据量广播时需要传输的数据量聚合时需要传输的数据量实验总结写在前面
young_monkeysun·2023-10-24 11:48

[论文阅读]CWD——基于稠密预测的通道式知识蒸馏

CWD基于稠密预测的通道式知识蒸馏论文网址：CWD论文总结这篇论文「Channel-wiseKnowledgeDistillationforDensePrediction」提出了一种针对密集预测任务的基于通道的知识蒸馏方法
一朵小红花HH·2023-10-24 04:18

知识蒸馏学习

一.知识蒸馏综述1.简介大模型在部署到资源有限的设备上（手机、嵌入式设备等）会遇到体积和速度问题，知识蒸馏作为有代表性的模型压缩和加速的技术之一（其他还有：参数裁剪和共享、低秩分解和Transferredcompactconvolutionalfilters
AKA老实人·2023-10-22 14:15

[2023年综述]将CNN和Transformer优势相结合的混合模型在计算机视觉领域的研究综述

3.1.引言3.2.NLP领域的Transformer3.3.CV领域的VisionTransformer4.结合CNN与Transformer的常见方法4.1.引言4.2.基于架构设计参考4.3.基于知识蒸馏
4miles·2023-10-22 12:06

联邦类增量学习

FCIL联邦类增量学习已经参与联邦学习的用户经常可能收到新的类别，但是考虑到每个用户自己设备的存储空间有限，很难对其收集到的所有类别都保存下足够数量的数据。
王洛伊·2023-10-22 09:43

IJCAI2023【基于双曲空间探索的非独立同分布联邦学习】

1、介绍汇报的主题及汇报者2、粗略介绍面临的挑战及出发点3、介绍一下预备知识4、解决方案5、总览6、实验设置7、实验8、结论
白兔1205·2023-10-22 09:43

联邦元学习

联邦学习算法基于服务器端聚合方法优化的算法和基于客户端优化的算法。
Martinwxx·2023-10-22 09:10

联邦学习的梯度重构

梯度泄露的攻击方法：深度泄露梯度（DLG）——>在高度压缩的场景下是失效的原因：梯度压缩（可减小通信开销）——>存在信息损失<——从而DLG方法效果有限但是这本身存在的信息损失怎么解决呢？会对所要达成的目标有影响吗？揭示在梯度压缩防御设置下攻击者可获取多少隐私数据度量的标准是什么呢？在高度压缩的场景下梯度泄露攻击的方法：基于属性推断的梯度泄露攻击：攻击者从共享梯度推断出原始私有训练数据的具体属性，
白兔1205·2023-10-22 09:02

知识蒸馏论文翻译（7）—— Knowledge Distillation from Internal Representations（内部表征）

知识蒸馏论文翻译（7）——KnowledgeDistillationfromInternalRepresentations（内部表征）文章目录知识蒸馏论文翻译（7）——KnowledgeDistillationfromInternalRepresentations
~拾捌~·2023-10-22 02:13

知识蒸馏论文翻译（9）—— Multi-level Knowledge Distillation via Knowledge Alignment and Correlation

知识蒸馏论文翻译（9）——Multi-levelKnowledgeDistillationviaKnowledgeAlignmentandCorrelation基于知识对齐和关联的多层次知识蒸馏文章目录知识蒸馏论文翻译
~拾捌~·2023-10-22 02:13

知识蒸馏论文翻译（6）——FEED: Feature-level Ensemble for Knowledge Distillation

知识蒸馏论文翻译（6）——FEED:Feature-levelEnsembleforKnowledgeDistillationFEED：用于知识提炼的特征级集成文章目录知识蒸馏论文翻译（6）——FEED
~拾捌~·2023-10-22 02:12

知识蒸馏论文翻译（1）——CONFIDENCE-AWARE MULTI-TEACHER KNOWLEDGE DISTILLATION（多教师知识提炼）

知识蒸馏论文翻译（1）——CONFIDENCE-AWAREMULTI-TEACHERKNOWLEDGEDISTILLATION（多教师知识提炼）文章目录知识蒸馏论文翻译（1）——CONFIDENCE-AWAREMULTI-TEACHERKNOWLEDGEDISTILLATION
~拾捌~·2023-10-22 02:42

python联邦学习syft实现线性回归

1.基于信任的联邦线性回归案例"""@Time：2023/10/16001615:17@Auth：yeqc"""'''基于信任的联邦线性回归案例'''importtorchimportsyftassyfromtorchimportnn#TODO:目前是CPU模式，等以后会用到GPU修改成GPU模式deftrain(num_epochs):foriterinrange(num_epochs):for
安心不心安·2023-10-21 10:38

深度学习加速之剪枝、知识蒸馏

unstructuredpruning1.1.2Localpruning和globalpruning1.2根据BN层scale系数进行的剪枝1.3使用NetworkSlimming对yolov3进行剪枝2.知识蒸馏参考文献
L1_Zhang·2023-10-21 06:06

深度学习之联邦学习

什么是联邦学习联邦学习（federatedlearning）能够让AI算法借助位于不同站点的数据中获得经验。
专注于计算机视觉的AndyJiang·2023-10-20 10:33

基于区块链的分层联邦学习

分层联邦学习（HFL）在保留联邦学习（FL）隐私保护优势的同时，减轻了通信开销，具有高带宽和丰富计算资源的优点。当FL的工作人员或参数服务器不可信或恶意时，方法是使用分层联邦学习。
熊啾啾*·2023-10-20 03:41

基于区块链与联邦学习技术的数据交易平台

目录基于区块链与联邦学习技术的数据交易平台基于区块链与联邦学习技术的数据交易平台联邦学习与区块链的集成的优势在于能够确认参与各方的身份并实现学习过程追溯。
ZhangJiQun&MXP·2023-10-20 03:11

论文阅读：Point-to-Voxel Knowledge Distillation for LiDAR Semantic Segmentation

为了解决上述问题，我们提出了点到体素知识蒸馏Point-to-VoxelKnowledgeDistillatio
shiyueyueya·2023-10-19 08:57

零数科技受邀加入中国信通院隐私计算联盟

零数科技在隐私计算领域有着深度布局，公司自主打造的零数联邦学习平台于2021年底通过中国信通院的“
零数科技·2023-10-19 03:00

联邦学习综述三

ASurveyonFederatedLearningSystemsVisionHypeandRealityforDataPrivacyandProtection选自：IEEETransactionsonKnowledgeandDataEngineering，2021链接本文主要从数据分布、机器学习模型、隐私机制、通信架构、联邦规模和联邦动机六个方面对联邦学习系统
满山的猴子我毛最多·2023-10-18 18:37

联邦学习综述四

ASurveyonSecurityandPrivacyofFederatedLearning选自：FutureGenerationComputerSystems，2020本文介绍了联邦学习安全以及隐私方面面临的挑战
满山的猴子我毛最多·2023-10-18 17:29

PFL-MoE：基于混合专家的个性联邦学习

文章链接：PFL-MoE:PersonalizedFederatedLearningBasedonMixtureofExperts发表会议：APWeb-WAIM2021（CCF-C）目录1.背景介绍联邦学习
恭仔さん·2023-10-18 16:36

联邦学习中的攻击手段和防御机制

联邦学习产生的背景：海量数据的生成和这些数据的后续处理往往需要一个数据仓库并在仓库内汇总数据。
白兔1205·2023-10-18 08:34

联邦学习+梯度+梯度剪枝

联邦学习需要参与者在每一次的本地训练后，上传所更新的模型参数并与其他参与者共享，而参数更新中仍有可能包含所有者的敏感信息解决方案：加密方法（安全多方计算、同态加密）通过将明文编码为密文的方式，只允许特定人员解码
白兔1205·2023-10-18 08:25

ReAugKD: Retrieval-Augmented Knowledge Distillation For Pre-trained Language Models

ReAugKD：预训练语言模型的检索增强知识蒸馏摘要1引言2相关工作3方法4实验结果5结论局限性摘要知识蒸馏（KD）是在低延迟环境中部署大规模预训练语言模型的最有效方法之一，通过将大规模模型中包含的知识转移到较
UnknownBody·2023-10-18 02:11
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他