知识蒸馏

用20篇论文走完知识蒸馏在 2014-2020 年的技术进展

点击上方“视学算法”，选择加"星标"或“置顶”重磅干货，第一时间送达作者丨傅斯年Walton@知乎（已授权）来源丨https://zhuanlan.zhihu.com/p/160206075编辑丨极市平台前言最近给公司里面的同学做了一个KD的survey，趁热把我回顾研究的一些东西记录下来，算是回馈知乎社区，一直以来，从里面汲取了很多营养，但没有怎么输出优质内容。概要Intro&RoadmapKD
视学算法·2022-08-08 07:00

实际工作中的高级技术（训练加速、推理加速、深度学习自适应、对抗神经网络）

.基于数据的并行①ModelAverage（模型平均）②SSGD（同步随机梯度下降）③ASGD*（异步随机梯度下降）2.基于模型的并行二、推理加速1.SVD分解*2.HiddenNodeprune3.知识蒸馏
Billie使劲学·2022-08-05 07:41

公众号内容拓展学习笔记（2021.3.27）

用20篇论文走完知识蒸馏在2014-2020年的技术进展⭐️⭐️主要内容：有关知识蒸馏技术发展的综述核心要点：三种主流方法：模型压缩算法，模
CV_七少·2022-07-19 07:59

模型也可以上网课？手把手教你在query-doc匹配模型上实现蒸馏优化！

导语|本文主要介绍我们在视频的query-doc匹配模型上进行的模型蒸馏技术优化，第一章介绍知识蒸馏概念、业务模型难点以及现有方案不足；第二章介绍匹配模型细节以及模型蒸馏整体框架；第三章介绍我们在蒸馏方案上的优化点
腾讯云开发者·2022-07-06 07:32

GID：旷视提出全方位的检测模型知识蒸馏 | CVPR 2021

论文提出的GID框架能够自动选择可辨别目标用于知识蒸馏，而且综合了feature-based、relation-based和response-based知识，全方位蒸馏，适用于不同的检测框架中。
晓飞的算法工程笔记·2022-07-03 13:57

GID：旷视提出全方位的检测模型知识蒸馏 | CVPR 2021

论文提出的GID框架能够自动选择可辨别目标用于知识蒸馏，而且综合了feature-based、relation-based和response-based知识，全方位蒸馏，适用于不同的检测框架中。
·2022-07-01 12:11

轻量化网络

为什么要学习轻量化网络神经网络效果好应用广泛移动端上模型部署的迫切需求：自动驾驶、机器人视觉、无人机、人脸识别、目标识别检测高频面试问题、薪资高完善知识结构体系个人学术研究：特征信息交流2、轻量化网络发展历程与前进方向模型精度与算力、存储空间的矛盾网络模型结构设计、知识蒸馏
冰雪棋书·2022-06-16 07:06

Deit：当Transformer与知识蒸馏结合起来

题目：训练面向数据高效的ViT和使用注意力的知识蒸馏提示：本篇文章是ViT经典解读系列的一个重要内容，解决原始的ViT依赖数据的短板，并结合知识蒸馏，将注意力灵活运用起来，值得参考与借鉴。
烧技湾·2022-06-14 10:33

WWW 2022 | CVR 预估去偏：不确定性约束的知识蒸馏模型 UKD

✍本文作者：一两、聆涛、渡叹、烈文丨目录：·背景·方法·实验验证·总结·关于我们·参考文献本文介绍阿里妈妈外投广告UD算法团队在CVR预估模型去偏上的实践与探索，该项工作论文已发表在WWW2022。论文：UKD:DebiasingConversionRateEstimationviaUncertainty-regularizedKnowledgeDistillation下载：https://arx
阿里妈妈技术·2022-05-27 07:33

知识蒸馏Knownledge Distillation

知识蒸馏源自Hintonetal.于2014年发表在NIPS的一篇文章：DistillingtheKnowledgeinaNeuralNetwork。
一位学有余力的同学·2022-05-21 10:10

Deep Learning炼丹经验总结——减少对设备性能消耗的方法

batchsize2、控制一个任务只加载一个dataloader3、控制数据增强策略4、控制shuffle的位置5、调整Linux分区6、控制多线程7、旧版本cudnn8、换电脑吧近期在拿paddlepaddle跑知识蒸馏
婴源·2022-05-20 15:19

知识蒸馏联邦学习的个性化技术综述

目录前言摘要I.引言II.个性化需求III.方法A.添加用户上下文B.迁移学习C.多任务学习D.元学习E.知识蒸馏F.基础+个性化层G.全局模型和本地模型混合IV.总结前言题目：SurveyofPersonalizationTechniquesforFederatedLearning
·2022-05-11 19:58

CVPR 2022 | 腾讯优图实验室30篇论文入选，含场景文本语义识别、3D人脸重建、目标检测、视频场景分割和视频插帧等领域...

以下为腾讯优图实验室入选论文介绍：01面向评估的深度人脸识别知识蒸馏方法Evalua
OpenCV中文网公众号·2022-05-09 07:08

知识蒸馏Knownledge Distillation

知识蒸馏源自Hintonetal.于2014年发表在NIPS的一篇文章：DistillingtheKnowledgeinaNeuralNetwork。
Pr4da·2022-05-07 16:28

论文解读：Decoupled Knowledge Distillation

DecoupledKnowledgeDistillation地址：https://arxiv.org/pdf/2203.08679.pdf代码：https://github.com/megvii-research/mdistiller2.背景与摘要知识蒸馏花样繁多
littletomatodonkey·2022-05-06 07:17

tensorflow利用for循环进行训练遇到的内存爆炸问题(OOM)

文章目录问题背景出现问题解决问题部分一部分二其他部分参考问题背景最近在用tensorflow学习模型的知识蒸馏，自己基于cifar10数据集训练得到的teacher模型，在对3种不同参数量的student
alphanoblaker·2022-04-27 16:28

知识蒸馏之DistilBERT

文章目录题目知识知识蒸馏DistilBERT题目知识蒸馏之DistilBERT知识这个概念很广，小到身边道理，大到天文地理，而这都不是今天的重点，我要学的是一个模型MODEL如何从“胖”变“瘦”，实现它的华丽变化
365JHWZGo·2022-04-11 07:42

预训练技术在美团到店搜索广告中的应用

本文对预训练技术在广告相关性的落地方案进行了介绍，既包括训练样本上的数据增强、预训练及微调阶段的BERT模型优化等算法探索层面的工作，也包括知识蒸馏、相关性服务链路优化等实践经验。
美团技术团队·2022-04-10 07:29

【Pytorch】使用Pytorch进行知识蒸馏_2

使用Pytorch进行知识蒸馏_2一、先训练老师网络查看教师的暗知识二、让老师教学生网络`关键，定义kd的loss`三、让学生自己学，不使用KD四、可视化五、完整源代码上一篇：[【Pytorch】使用Pytorch
码猿小菜鸡·2022-03-22 07:30

【Pytorch】使用Pytorch进行知识蒸馏

使用Pytorch进行知识蒸馏一、知识蒸馏原理1.使用`softmax`进行蒸馏：2.知识迁移：老师知识—>学生知识二、知识蒸馏实现1.导入各种包2.设置随机种子3.加载MNIST数据集4.定义教师模型
码猿小菜鸡·2022-03-22 07:28

用于异常检测的多分辨率知识蒸馏

论文地址：https://arxiv.org/pdf/2011.11108.pdf官方代码：https://github.com/Niousha12/Knowledge_Distillation_AD自实现代码：https://github.com/HibikiJie/Multiresolution-Knowledge-Distillation-for-Anomaly-Detection/tree
Hibiki阿杰·2022-03-16 19:47

Learning Without Forgetting 笔记及实现

LearningWithoutForgettingLWF简介方法对比LWF算法流程总结实现LWF简介LWF是结合知识蒸馏(KD)避免灾难性遗忘的经典持续学习方法。
juggle_gap_horse·2022-03-15 07:57

模型压缩综述

一卷积神经网络压缩中的知识蒸馏技术综述1.目前卷积神经网络压缩和加速的方法主要有以下五种：网络剪枝、参数量化、低秩分解、轻量化网络设计、知识蒸馏。
@少帅·2022-02-21 07:54

【Knowledge Distillation】知识蒸馏总结

KnowledgeDistillation背景知识蒸馏（KD）是想将复杂模型（teacher）中的darkknowledge迁移到简单模型（student）中去，一般来说，teacher具有强大的能力和表现
Gaoyt__·2022-02-20 04:54

模型压缩--知识蒸馏Knowledge Distilling

知识蒸馏就是希望用小型模型得到跟大型复杂模型一样的性能。人们普遍认为，用于训练的目标函数应尽可能地反映任务的真实目标。
Johann_Liang·2022-02-14 21:44

（四十八：2021.09.09）《关于模型压缩和加速的调查【2017】》

ASurveyofModelCompressionandAccelerationforDeepNeuralNetworks）》讲在前面摘要一、介绍二、参数修剪和量化A.量化和二值化B.网络裁剪C.设计结构矩阵三、低秩近似和稀疏性四、传递/紧凑卷积滤波器五、知识蒸馏六
花卷汤圆·2022-02-14 07:59

2021-10周复盘

本周任务完成情况任务进度备注学习知识蒸馏Doing跑通LOTClass并想好使用场景Done代码重构Doing习惯
仰望星空的小狗·2022-02-12 18:35

7小时速成集成学习实录

从昨天下午三点开始用一些零散的时间速补了一波集成学习的相关内容，便于后续继续学习知识蒸馏。信息来源主要依靠CSDN和《统计学习方法》，现简单整理一下有效内容便于后续复习。
清川kiyokawa·2022-02-11 12:22

深度神经网络压缩与加速总结

深度神经网络压缩与加速综述1.深度神经网络压缩与加速的任务2.模型压缩与加速方法（1）参数剪枝（2）参数共享（3）低秩分解（4）紧性滤波设计（5）知识蒸馏3.深度神经网络压缩与加速算法相关工作（1）基于参数剪枝的深度神经网络压缩与加速
知识海洋里的咸鱼·2022-02-04 15:21

【Lifelong learning】Lifelong Language Knowledge Distillation

链接：http://arxiv.org/abs/2010.02123简介LifelongLanguageKnowledgeDistillation终身语言知识提炼，是一种利用知识蒸馏的终身学习方法。
Baigker·2021-12-02 16:33

知乎B站部分资源整理，主要涉及图神经网络和编程语言

模板英语听力如何提升论文写作辅助网站硬核类FFT各种语言代码RSA加密算法机器学习算法应用场景同上对卷积的理解F变换L变换Z变换的联系特征选择也称降维DP背包问题机器人控制中的李群李代数贝叶斯滤波概率图模型非线性控制系统知识蒸馏知识图谱
·2021-11-30 22:46

Distilling Holistic Knowledge with Graph Neural Networks论文解读

这是一篇ICCV2021的文章，提出了一种新的知识蒸馏方式(HolisticKnowledgeDistillation)原文链接代码链接Figure1为Individual、Relational、HolisticKnowledgeDistillation
Daft shiner·2021-09-19 15:43

解读知识蒸馏模型TinyBert

摘要：本篇文章的重点在于改进信息瓶颈的优化机制，并且围绕着高纬空间中互信息难以估计，以及信息瓶颈优化机制中的权衡难题这两个点进行讲解。本文分享自华为云社区《【云驻共创】美文赏析：大佬对变分蒸馏的跨模态行人重识别的工作》，作者：启明。论文讲解：《FarewelltoMutualInformation:VariationalDistillationforCrossModalPersonRe-ident
·2021-09-02 16:06

论文笔记-Bag of Tricks for Image Classification with Convolutional Neural Networks

3.1训练速度3.1.1batchsize调整3.2网络结构3.2.1模型调整3.3训练过程优化3.3.1CosineLearningRateDecay3.3.2LabelSmoothing3.2.3知识蒸馏
科研澡·2021-08-23 14:21

知识蒸馏解决烦恼

作为深度学习的基础，人工神经网络模型一直是人工智能的研究热点，也在各个领域发挥着重要的作用。好的模型往往伴随着庞大的体积和海量的参数，这不利于模型的复现和部署。拿自然语言处理领域（NLP）中最常见的词向量模型来举例。想要训练一个高质量的词向量模型，就需要大量优质的语料来支持。对于使用广泛的语种，比如英语，获取语料和训练模型相对容易。反观一些小语种，语料少，获取难，纵有再好的网络结构，训练出来的模型
·2021-08-10 15:13

2021-04-12

本周任务完成情况任务进度备注继续学习知识蒸馏Pending由于组里即将来新同事，知识蒸馏就不用我负责完成力扣top100Doing代码重构Done习惯培养冥想：坚持3天看业界新闻：坚持5天专业技能学习：
仰望星空的小狗·2021-06-11 14:03

2021-12周复盘

本周任务完成情况任务进度备注继续学习知识蒸馏Doing只看了2篇论文了解文本匹配Doing代码重构Doing习惯培养冥想：坚持2天看业界新闻：坚持4天专业技能学习
仰望星空的小狗·2021-06-09 17:15

【开源】本周不容错过开源论文，含分割、检索、神经渲染、deepfake 检测、超分、视频相关等...

GeneralizingDeepfakeDetectionusingKnowledgeDistillationandRepresentationLearning来自成均馆大学本次的研究工作，作者采用表征学习（ReL）和知识蒸馏
我爱计算机视觉·2021-06-05 12:47

深度学习模型压缩算法综述（三）：知识蒸馏算法+实战

深度学习模型压缩算法综述（三）：知识蒸馏算法本文禁止转载项目地址：联系作者：知识蒸馏：分类模型训练目标：two-stage检测模型训练目标：基本思路：损失函数：one-stage检测模型训练目标：基本思路
BIT可达鸭·2021-05-31 21:50

MEAL V2: Boosting Vanilla ResNet-50 to 80%+ Top-1 Accuracy on ImageNet without Tricks

我们的方法是基于最近提出的MEAL，即通过鉴别器的集成知识蒸馏。我们进一步简化了这一过程
安静到无声·2021-05-17 10:04

【模型压缩】Yolov3目标检测模型蒸馏实验

Yolov3目标检测模型蒸馏实验PaddleDetection知识蒸馏分类模型蒸馏：one-stage检测模型蒸馏：关于作者实验环境：划分数据集正常训练：L2蒸馏损失训练Fine-gained蒸馏损失训练注
BIT可达鸭·2021-04-30 13:02

模型压缩（下）—— 知识蒸馏(Distilling Knowledge)

Givenanimageofadog,agoodteachernetworkmaymistakenlyrecognizeitascatwithsmallprobability,butshouldseldomrecognizeitascar.在论文中有写过这样一段话语，相对于狗和汽车来说，狗和猫的相似性更大，这里就潜藏着更多的信息。而这种相似性，会在probability中有所体现。而这部分信息一直
不懂不学不问·2021-03-28 22:01

模型压缩（上）—— 知识蒸馏(Distilling Knowledge)

1.到底什么是知识蒸馏？一般地，大模型往往是单个复杂网络或者是若干网络的集合，拥有良好的性能和泛化能力，而小模型因为网络规模较小，表达能力有限。
不懂不学不问·2021-03-28 21:37

CVPR2021中的目标检测和语义分割论文汇总

作者丨TomHardy@知乎编辑丨计算机视觉工坊来源丨https://zhuanlan.zhihu.com/p/355137468感慨：知识蒸馏大放异彩~目标检测篇1、SemanticRelationReasoningforShot-StableFew-ShotObjectDetectionpaper
公众号机器学习与生成对抗网络·2021-03-13 20:03

知识蒸馏

这几天为了做毕设将网络上关于知识蒸馏的文章上进行了归纳什么是知识蒸馏？近年来，神经模型在几乎所有领域都取得了成功，包括极端复杂的问题。
ROCCO#·2021-03-11 15:27

面向深层Transformer模型的轻量化压缩方法

基于此，讲者提出一种基于群体置换的知识蒸馏方法（Group-PermutationbasedKnowledgeDistillation，GPKD），将深层的Transformer模型压缩为浅层模型；为了进一步增强
AITIME论道·2021-02-24 17:22

理解Towards Understanding Ensemble, Knowledge Distillation and Self-Distillation in Deep Learning

KnowledgeDistillationandSelf-DistillationinDeepLearning深度学习中的三个神秘之处神经网络集成vs特征图集成集成vs减少单个模型的误差多视图数据：新方法去证明深度学习中的集成知识蒸馏
MasterQKK 被注册·2021-02-18 14:59

深度学习模型压缩与加速综述！

Datawhale干货作者：Pikachu5808，编辑：极市平台来源丨https://zhuanlan.zhihu.com/p/301162618导读本文详细介绍了4种主流的压缩与加速技术：结构优化、剪枝、量化、知识蒸馏
Datawhale·2021-01-04 19:00

【高德AAAI2021论文解读】LRC-BERT：对比学习潜在语义知识蒸馏

高德智能技术中心研发团队在工作中设计了对比学习框架进行知识蒸馏，并在此基础上提出COS-NCELOSS，该论文已被AI顶会AAAI2021接收。
高德技术·2020-12-30 17:45

134个预训练模型、精度高达85.1%，百度视觉算法最强基石PaddleClas全新升级

近期PaddleClas迎来了全面升级，其中提供了更高精度的知识蒸馏模型、更丰富
数据派THU·2020-12-29 17:00
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他