蒸馏）

“烘焙”ImageNet：自蒸馏下的知识整合

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达作者：葛艺潇|已授权转载（源：知乎）https://zhuanlan.zhihu.com/p/370955825最先进的知识蒸馏算法发现整合多个模型可以生成更准确的训练监督
Amusi（CVer）·2022-12-18 12:33

ICLR 2021 | SEED：自监督蒸馏学习，显著提升小模型性能！

该文是亚利桑那州立大学&微软联合提出的一种自监督蒸馏表达学习方案，已被ICLR2021接收为Poster。针对现有对比自监督学习方案在小模型上表现性能差的问题，提出将知识蒸馏的思想嵌入到自
Amusi（CVer）·2022-12-18 12:32

CVPR2022 | 中科大&华为提出用于非对称图像检索的上下文相似性蒸馏

为此，作者提出了一个灵活的上下文相似性蒸馏框架来增强小型查询模型并保持其输出特征与大型图库模型的输出特征兼容，这对于非对称检索至关重要。在本文的方法中，作者学习了具有新的
FightingCV·2022-12-18 12:31

使用PyTorch进行知识蒸馏的代码示例

提高大型复杂模型在小数据集性能的一种有效技术是知识蒸馏，它包括训练一个更小、更有效的模型来模仿一个更大的“教师”模型的行为。在本文中，我们将探索知识蒸馏的概念，以及如何在PyTorch中实现它。
deephub·2022-12-18 12:00

字节跳动开源GAN模型压缩框架，算力最高节省97.8%丨ICCV 2021

这里用到的技术，就是字节跳动技术团队在计算机视觉顶会ICCV2021上发表的在线多粒度蒸馏算法（OnlineMulti-GranularityDistillation，简称OMGD）。这种模型压缩
字节跳动技术范儿·2022-12-18 00:57

使用PyTorch进行知识蒸馏的代码示例

提高大型复杂模型在小数据集性能的一种有效技术是知识蒸馏，它包括训练一个更小、更有效的模型来模仿一个更大的“教师”模型的行为。在本文中，我们将探索知识蒸馏的概念，以及如何在PyTorch中实现它。
·2022-12-17 11:10

它破解了AI作画的中文语料难题，AIGC模型讲解(以世界杯足球为例)

目录1扩散模型与AI绘画2中文语料的挑战3昆仑天工：AIGC新思路3.1主要特色3.2模型蒸馏3.3编解码与GPT3.4stable-diffusion3.5性能指标4体验中文AI绘画模型5展望1扩散模型与
Mr.Winter`·2022-12-17 08:33

用于移动端食物识别的少样本（few-shot）和多样本（many-shot）融合学习（fusion learning）

Few-ShotandMany-ShotFusionLearninginMobileVisualFoodRecognition目录0.摘要0.1关键词和名词解释1.简介2.Few-shot和many-shot融合的学习2.1数据集NTU-IndianFood1072.2使用两步知识蒸馏
EDPJ·2022-12-16 23:07

The State Of Knowledge Distillation For Classification Tasks

我们使用标准化的模型架构、固定的计算预算和一致的训练计划进行的实验表明，这些蒸馏结果中的许多很难重现。这在使用某种形式的特征提取的方法中尤其明显。
weixin_37958272·2022-12-16 19:52

DeiT：使用Attention蒸馏Transformer

其核心是将蒸馏方法引入VIT的训练，引入了一种教师-学生的训练策略，提出了token-baseddistillation。有趣的是，这种训练策略使用卷积网络
*pprp*·2022-12-16 19:22

文献阅读：Training data-efficient image transformers & distillation through attention

distillationthroughattention1.四个问题要解决什么问题解决Transformer在图像分类问题中对数据集的限制用什么方法解决作者提出DeiT，一种图像transformers，通过改进训练和蒸馏过程
MRzzyy·2022-12-16 19:22

【第58篇】DEiT：通过注意力训练数据高效的图像transformer &蒸馏

摘要最近，纯基于注意力的神经网络被证明可以解决图像理解任务，如图像分类。这些高性能的是使用大型基础设施预先训练数以亿计的图像，从而限制了它们的采用。本文仅通过在Imagenet上训练，产生有竞争力的无卷积transformer。我们用一台电脑在不到3天的时间里训练它们。所提出的参考视觉transformer(86M参数)在没有外部数据的情况下，在ImageNet上实现了83.1%(单裁剪)的top
AI浩·2022-12-16 19:51

知识蒸馏论文学习（同济子豪兄）

一.部署工具：MMDeploy二.模型压缩方法：知识蒸馏，权值量化，剪枝（权重剪枝，通道剪枝），注意力迁移三.硬件部署：rensorRT，rensorflow-slim，tensorflow-lite，
Sunt40·2022-12-16 15:40

【论文笔记】Student-Teacher Feature Pyramid Matching for Anomaly Detection

2103.04257.pdf代码可以参考：https://paperswithcode.com/paper/student-teacher-feature-pyramid-matching-for核心：利用知识蒸馏的方式在
HarryXxc·2022-12-16 07:43

《论文笔记》Anomaly Detection via Reverse Distillation from One-Class Embedding

这是2022年的CVPR文章，作者提出了一个创新的知识蒸馏方案：反转知识蒸馏论文地址：https://arxiv.org/pdf/2201.10703v1.pdfMotivation论文针对传统的知识蒸馏的方案提出了一个问题
HarryXxc·2022-12-16 07:41

【经典简读】知识蒸馏(Knowledge Distillation) 经典之作

【经典简读】知识蒸馏(KnowledgeDistillation)经典之作转自：【经典简读】知识蒸馏(KnowledgeDistillation)经典之作作者：潘小小知识蒸馏是一种模型压缩方法，是一种基于
Adenialzz·2022-12-15 22:45

深度学习三大谜团：集成、知识蒸馏和自蒸馏

深度学习三大谜团：集成、知识蒸馏和自蒸馏转自：https://mp.weixin.qq.com/s/DdgjJ-j6jHHleGtq8DlNSA原文（英）：https://www.microsoft.com
Adenialzz·2022-12-15 22:45

论文研读--Masked Generative Distillation

论文：https://arxiv.org/abs/2205.01529github：https://github.com/yzd-v/MGD看到CV领域的知识蒸馏，看完摘要和图片后，心中大喜哈哈哈知识蒸馏还能这么做
jiangchao98·2022-12-15 14:01

极市直播回放第106期丨阿里达摩院：兼顾速度与精度的高效目标检测框架DAMO-YOLO

DAMO-YOLO是在YOLO框架基础上引入了MAE-NAS、efficient-RepGFPN、ZeroHead、蒸馏等一系列新技术，对整个检测框架进行了大幅的修改。
极市平台·2022-12-15 08:26

李宏毅机器学习作业13——网络压缩，模型剪枝，知识蒸馏，Depthwise Separable Convolution

理论参见：高效深度学习软硬件设计——神经网络压缩、Pruning模型剪枝、权值共享、低秩近似_iwill323的博客-CSDN博客目录任务和数据集任务描述数据集导包辅助函数数据处理显示文件夹和文件数量transformsDataset数据加载函数分类模型训练加载数据集训练函数进行训练推断加载数据architecturedesign概念DepthwiseSeparableConvolution建立模
iwill323·2022-12-15 06:28

ICLR2021——神经注意力蒸馏（NEURAL ATTENTION DISTILLATION）：去除DNN中的后门触发器

NEURALATTENTIONDISTILLATION:ERASINGBACKDOORTRIGGERSFROMDEEPNEURALNETWORKS这篇论文发布在ICLR2021。https://arxiv.org/abs/2101.05930本文提出一种新型的防御框架：NeuralAttentionDistillation(NAD)，用于去除DNN中的后门。NAD使用一个教师模型知道后门学生模型在
Jhouery·2022-12-14 15:16

自知识蒸馏（知识蒸馏二）

自知识蒸馏（知识蒸馏二）自知识蒸馏（知识蒸馏二）Born-AgainNeuralNetworks（ICML2018）方法为什么有效实验结果TrainingDeepNeuralNetworksinGenerations
Man in Himself·2022-12-14 15:14

SAD（自我注意力蒸馏）：Learning Lightweight Lane Detection CNNs by Self Attention Distillation

自我注意力蒸馏来自文章（链接）：LearningLightweightLaneDetectionCNNsbySelfAttentionDistillation项目地址：Codes-for-Lane-Detection
狂奔的菜鸡·2022-12-14 15:44

【论文笔记_自蒸馏_2021】GROUND-TRUTH TARGETS DAMPEN REGULARIZATION IMPOSED BY SELF-DISTILLATION

即使是你的老师也需要指导：真实目标抑制了自我蒸馏所施加的正则化。摘要知识蒸馏是一个经典的程序，其中一个神经网络与原始目标一起在另一个网络的输出上进行训练，以便在架构之间转移知识。
乱搭巴士·2022-12-14 15:12

【知识蒸馏】浅谈自知识蒸馏和自监督知识蒸馏的区别

今天在看《RefineMyselfbyTeachingMyself:FeatureRefinementviaSelf-KnowledgeDistillation》，然后在纠结里面的方法到底是自知识蒸馏还是自监督知识蒸馏
乱搭巴士·2022-12-14 15:42

ICLR2021自蒸馏方法SEED：显著提升小模型性能

以下文章来源于公众号“机器学习算法工程师”机器学习算法工程师Abstract：该文是亚利桑那州立大学&微软联合提出的一种自监督蒸馏表达学习方案，已被ICLR2021接收为Poster。
夜雨寒风·2022-12-14 15:41

深度学习精度提升 3 个小妙招：模型集成、知识蒸馏、自蒸馏

转载:AI公园作者：ZeyuanAllen-Zhu编译：ronghuaiyang导读训练好的模型，用自己蒸馏一下，就能提高性能，是不是很神奇，这里面的原理到底是什么呢，这要从模型集成开始说起。
zenRRan·2022-12-14 15:11

FastBERT——自蒸馏模型与自适应调整推断时间技术

前言这几天被分配到的任务是调研现有的几种基于BERT的蒸馏模型，所以花了些时间了解了下DistilBERT，TinyBERT以及FastBERT.自从BERT发布以来，各种基于BERT的改良版本（如RoBERTa
夏树让·2022-12-14 15:11

深度学习优化利器：集成、知识蒸馏和自蒸馏

本文是对上述问题的解析，作者解读了来自微软研究院高级研究员朱泽园博士，以及卡内基梅隆大学机器学习系助理教授李远志的最新论文《在深度学习中理解集成，知识蒸馏和自蒸馏》。
there2belief·2022-12-14 15:41

【自监督论文阅读笔记】Contrastive Learning Rivals Masked Image Modeling in Fine-tuning via Feature Distillation

在本文中，证明了这些预训练方法的较差微调性能可以通过以特征蒸馏(FD)形式的简单后处理来显著改善。特征蒸馏将旧的表示转换成新的表示，新的表示具有一些期望的属性，就像MIM产生的那些表示一样。
YoooooL_·2022-12-14 15:10

自蒸馏、知识蒸馏

自蒸馏（SelfDistillation）：是采用有监督学习进行知识蒸馏。
Ko_len·2022-12-14 15:10

深度学习三大谜团：集成、知识蒸馏和自蒸馏

编译：梦佳校对：周寅张皓集成（Ensemble，又称模型平均）是一种「古老」而强大的方法。只需要对同一个训练数据集上，几个独立训练的神经网络的输出，简单地求平均，便可以获得比原有模型更高的性能。甚至只要这些模型初始化条件不同，即使拥有相同的架构，集成方法依然能够将性能显著提升。但是，为什么只是简单的「集成」，便能提升性能呢？目前已有的理论解释大多只能适用于以下几种情况：（1）boosting：模型
智源社区·2022-12-14 15:09

MiniLM V2 深度自注意力蒸馏: Multi-Head Self-Attention Relation Distillation for Compressing Pretrain

建议先阅读MiniLMV1：蒸馏预训练模型架构：深度自注意力蒸馏（NeurIPS2020）MINILM-知乎论文个人理解目的与V1一样，本篇paper也是在预训练阶段蒸馏模型（跟任务无关的蒸馏架构），下游任务直接
亦万·2022-12-14 15:39

知识蒸馏之自蒸馏

知识蒸馏之自蒸馏@TOC知识蒸馏之自蒸馏本文整理了近几年顶会中的蒸馏类文章（强调self-distillation）,后续可能会继续更新其他计算机视觉领域顶会中的相关工作，欢迎各位伙伴相互探讨。
随性奋进的女程序猿·2022-12-14 15:08

WorldS4 2020 | 联邦学习的个性化技术综述

目录前言摘要I.引言II.个性化需求III.方法A.添加用户上下文B.迁移学习C.多任务学习D.元学习E.知识蒸馏F.基础+个性化层G.全局模型和本地模型混合IV.总结前言题目：SurveyofPersonalizationTechniquesforFederatedLearning
Cyril_KI·2022-12-14 07:41

知识蒸馏如何快速提升人工智能模型的性能？

知识蒸馏的诞生背景近年来，深度神经网络（DNN）在工业界和学术界都取得了巨大成功，尤其是在计算机视觉任务方面。
网易易盾·2022-12-14 07:26

Xinlei cheng报告学习

momentumencoder动量dimension维度convergence收敛symmetrizationsy均衡contrastivelearning对比学习autoregressive自回归distillation蒸馏没有
计算机视觉-Archer·2022-12-14 01:29

【研一小白白话理解】各种小知识

知识蒸馏softmax的输出一定是正数，且每个元素和加起来为1。而llog_softmax全部都是负数。
Titus W·2022-12-13 12:19

NER 数据增强

文章目录DAGA模型利用教师模型与知识蒸馏DAGA模型https://zhuanlan.zhihu.com/p/342032812核心思想：标签线性化以后送入语言模型训以完成数据增强标签线性化：语言模型
酷暑冷冰·2022-12-13 12:37

KD-VLP：知识蒸馏和预训练还能这么结合？上科大&Intel&MSRA提出基于知识蒸馏的端到端多模态预训练模型...

ImprovingEnd-to-EndVision-and-LanguagePretrainingwithObjectKnowledgeDistillation』，由上科大&Intel&MSRA联合提出基于知识蒸馏的端到端多模态预训练模型
我爱计算机视觉·2022-12-13 11:46

自监督学习系列（四）：基于蒸馏的图片掩码学习

前文好久不见！自监督系列文章继续更新啦！在前几期的文章我们介绍了基于辅助任务，对比学习，和图片掩码学习的自监督学习范式(对比学习，图片掩码学习其实也可以归属于基于辅助任务的自监督学习，由于这两类是目前最流行的研究方向，所以我们在此进行这样的区分)。有感兴趣的读者可以查看前几期的文章:https://zhuanlan.zhihu.com/p/470914640https://zhuanlan.zhi
OpenMMLab·2022-12-13 11:14

【文献学习】群体知识转移:边缘大型cnn的联邦学习

FedGKT设计了交替最小化方法的一种变体，在边缘节点上训练小型CNN，并定期通过知识蒸馏（KnowledgeDistillation）将其知识转移到大型服务器端CNN。
晨曦未眠·2022-12-12 16:25

Knowledge Distillation with the Reused Teacher Classifier论文阅读+代码解析

论文地址点这里一.介绍给定一个具有大量参数的强大教师模型，知识蒸馏(KD)的目标是帮助另一个参数化较少的学生模型获得与较大的教师模型相似的泛化能力。
编程龙·2022-12-11 09:04

SimKD

又搬来一个简单高效的知识蒸馏技术哦~~直接复用教师分类器还能显著减小性能差距的~在分类器的上一层通过特征对齐来训练学生模型，并直接复用教师分类器到学生模型中，再使用L2损失进行特征对齐。
whaosoft143·2022-12-11 08:21

SSKD：自我监督知识蒸馏

简介：利用具有选择性传输的噪声自监督信号进行蒸馏的实用方法。自监督信号改善了传统蒸馏，在少镜头和噪声标签场景下具有显著的增益。
一瞬にして失う·2022-12-11 02:01

AMTML-KD：自适应多教师多级知识蒸馏

背景：知识蒸馏（KD）是一种有效的学习范式，通过利用从教师网络中提取的额外监督知识来提高轻量级学生网络的性能。
一瞬にして失う·2022-12-11 02:31

CenterX：用中国特色社会主义的方式打开CenterNet

https://zhuanlan.zhihu.com/p/323814368本文已由原作者授权，不得擅自二次转载太长不看版笔者重构了一版centernet(objectsaspoints)的代码，并加入了蒸馏
CVer计算机视觉·2022-12-11 00:13

Transformer优化之稀疏注意力

Transformer:Attention集大成者GPT-1&2:预训练+微调带来的奇迹Bert:双向预训练+微调Bert与模型压缩Bert与模型蒸馏：PKD和DistillBertALBert:轻量
张雨石·2022-12-10 06:59

tensorflow利用for循环进行知识蒸馏训练遇到的内存爆炸问题(OOM)

文章目录问题背景出现问题解决问题部分一部分二部分三参考问题背景最近在用tensorflow学习模型的知识蒸馏，自己基于cifar10数据集训练得到的teacher模型，在对3种不同参数量的student
javastart·2022-12-10 06:20

论文笔记:TEACHTEXT: CrossModal Generalized Distillation for Text-Video Retrieval

跨模态广义蒸馏的文本-视频检索摘要介绍动机文本嵌入集合展示方法TEACHTEXT算法4.3.相似矩阵的学习学生模型老师模型结论摘要近年来，通过对视频和音频数据集进行大规模的预训练来构建强大的视频编码器，
帅帅梁·2022-12-10 04:35
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他