distillation

SAD---Learning Lightweight Lane Detection CNNs by Self Attention Distillation

概括论文地址：https://arxiv.org/pdf/1908.00821.pdf论文代码：[GitHub](https://github.com/cardwing/Codes-for-Lane-Detection)这篇论文用于检测车道线，作者提出SelfAttentionDistillation（SAD）模块，可用于现有任何网络结构，提升检测效果但不增加inferencetime。在模型EN
看_有灰碟·2020-02-02 11:42

Feature Fusion for Online Mutual Knowledge Distillation （CVPR 2019）

一、解决问题如何将特征融合与知识蒸馏结合起来，提高模型性能二、创新点支持多子网络分支的在线互学习子网络可以是相同结构也可以是不同结构应用特征拼接、depthwise+pointwise，将特征融合和知识蒸馏结合起来三、实验方法和理论1.MotivationDML(DeepMutualLearning)算法思想：用两个子网络（可以是不同的网络结构）进行在线互学习，得到比单独训练性能更好的网络损失函数
snail_1·2019-12-15 16:00

31组-MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications

目前，构建小型神经网络通常有以下两类方法：压缩预训练的网络：Productquantization,Vectorquantization,Distillation,Hashi
LoneRanger66·2019-11-29 20:02

Feature Fusion for Online Mutual Knowledge Distillation （CVPR 2019）

一、解决问题如何将特征融合与知识蒸馏结合起来，提高模型性能二、创新点支持多子网络分支的在线互学习子网络可以是相同结构也可以是不同结构应用特征拼接、depthwise+pointwise，将特征融合和知识蒸馏结合起来三、实验方法和理论1.MotivationDML(DeepMutualLearning)算法思想：用两个子网络（可以是不同的网络结构）进行在线互学习，得到比单独训练性能更好的网络损失函数
SuperLab·2019-10-31 20:00

CV_Daily Issue 29

CV_DailyIssue29YangXianRethinkingDataAugmentation:Self-SupervisionandSelf-Distillation数据增强技术（例如翻转或裁剪）
bryce1010·2019-10-21 10:36

Faster RCNN的检测蒸馏（分类、回归、Feature-level、Feature-level＋Mask）

featurelevelhttp://papers.nips.cc/paper/6676-learning-efficient-object-detection-models-with-knowledge-distillation
一路狂奔的猪·2019-07-08 11:49

【distillation】shrinkTeaNet:Million-scale Lightweight Face Recognition via Shrinking T-S Networks

论文完整题目：shrinkTeaNet:Million-scaleLightweightFaceRecognitionviaShrinkingTeacher-StudentNetworks论文链接：https://arxiv.org/abs/1905.10620v1作者的动机：性能好的人脸识别网络由于其庞大的参数和复杂的网络结构比较困难，作者想要得到一个小型但是精度又还可以与大网络差不多的小网络模
猫猫与橙子·2019-06-13 17:01

跟着白泽读paper丨MoonShine: Optimizing OS Fuzzer Seed Selection with Trace Distillation

MoonShine:OptimizingOSFuzzerSeedSelectionwithTraceDistillation本文发表于UsenixSecurity2018，作者：ShankaraPailoor，AndrewAday，SumanJana。三位作者均来自于ColumbiaUniversity。1.主要内容OSFuzzer是一种主要在操作系统内核与用户态程序间利用system-call进
复旦白泽战队·2019-03-29 15:28

《Revisiting Distillation and Incremental Classifier Learning》 论文笔记

原文链接：https://arxiv.org/abs/1807.02802本文主要就是对于iCaRL这篇论文的再研究，设置了一些研究型实验推翻了之前iCaRL论文中的一些说法，最终得出结论，iCaRL之所以行之有效的主要原因是使用了知识蒸馏（Knowledgediatillation）。并对于知识蒸馏存在的分类器偏差（biasinclassifiers）问题，提出了动态阈值移动（dynamicth
Chris_zhangrx·2018-12-05 19:27

《Revisiting Distillation and Incremental Classifier Learning》 论文笔记

原文链接：https://arxiv.org/abs/1807.02802本文主要就是对于iCaRL这篇论文的再研究，设置了一些研究型实验推翻了之前iCaRL论文中的一些说法，最终得出结论，iCaRL之所以行之有效的主要原因是使用了知识蒸馏（Knowledgediatillation）。并对于知识蒸馏存在的分类器偏差（biasinclassifiers）问题，提出了动态阈值移动（dynamicth
Chris_zhangrx·2018-12-05 19:27

2018-11-21

trait-特点traitor-叛徒constellation-星座，一系列distillation-蒸馏，净化farce-闹剧force[名]-力量，武力force[动]-强迫dash-猛冲gash-
彭奕泽·2018-11-22 10:04

知识蒸馏（Knowledge Distillation）

1、DistillingtheKnowledgeinaNeuralNetworkHinton的文章"DistillingtheKnowledgeinaNeuralNetwork"首次提出了知识蒸馏（暗知识提取）的概念，通过引入与教师网络（teachernetwork：复杂、但推理性能优越）相关的软目标（soft-target）作为totalloss的一部分，以诱导学生网络（studentnetwo
Law-Yao·2018-06-04 16:38

知识蒸馏（Distillation）相关论文阅读（3）—— FitNets : Hints for Thin Deep Nets

知识蒸馏相关论文目录导读：GeoffryHinton——DistillingtheknowledgeinaneuralnetworkSaurabhGupta——CrossModelDistillationforSupervisionTransferAdrianaRomero——HintsforThinDeepNets————————————————————————————————————————《
每天都要深度学习·2018-03-28 00:03

知识蒸馏（Distillation）相关论文阅读（1）——Distilling the Knowledge in a Neural Network（以及代码复现）

引出一种模型压缩技术：Distillation；以及介绍了一种由一个或多个完整模型（fullmodels）以及针对/细节
每天都要深度学习·2018-03-21 21:25

论文解读：Recurrent Neural Network Training with Dark Knowledge Transfer

Hinton的Distillation研究了如何利用一个复杂网络来训练简单网络，但是训练出来的简单网络性能只能逼近复杂网络。
深度学习入门·2017-05-18 14:18

Cross Modal Distillation for Supervision Transfer

Abstract本文关注点是对图片的不同模态，做监督迁移学习。两种不同的模态，一种有大量的标注样本，一种没有。将从标注过样本的模态中学习得到的特征作为监督信号，用于无标注样本模态的特征学习。此方案能够对无标注信息的模态学习到很好的特征，也可以用于只含有少量标注样本的新模态的预训练。文章做了RGB图片（labeled）到depth（unlabeled）和opticalflow（unlabeled）图
弓如霹雳弦惊·2017-02-18 10:21
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他