蒸馏）第24页

模型优化与tensorflow

模型优化与tensorflow模型优化方法介绍神经网络的要求：小、准、快小：要求网络权重存储空间小准：准确率高快：计算量小目前有四种方法达到这种要求；裁剪，蒸馏，模型结构搜索，量化。

fenfen520_zyx·2022-11-23 06:37

模型压缩算法库 MMRazor 全面升级，更灵活、更自动

MMRazor是OpenMMLab开源项目里模型压缩领域的算法工具箱，目前支持了知识蒸馏、模型通道剪枝和模型结构搜索，模型量化部分正在开发中。

OpenMMLab·2022-11-23 05:46

Dreaming to distill(Deep Inversion, data free distill)

文章链接：https://arxiv.org/abs/1912.08795CVPR2020上做data-free蒸馏的。

Rainylt·2022-11-23 05:27

#Reading Paper# 【曝光偏差】WWW 2022 UKD: Debiasing Conversion Rate Estimation via Uncertainty-regularized

UKD:DebiasingConversionRateEstimationviaUncertainty-regularizedKnowledgeDistillation（UKD：通过不确定性正则化知识蒸馏的去偏转化率

堇禤·2022-11-23 03:59

【AAAI 2021】基于Attention的知识蒸馏：Knowledge Distillation via Attention-based Feature Matching

【AAAI2021】基于Attention的知识蒸馏：KnowledgeDistillationviaAttention-basedFeatureMatching论文地址：代码地址：主要问题：主要思路：

BIT可达鸭·2022-11-22 22:46

联邦知识蒸馏概述与思考（续）

关注公众号，发现CV技术之美前文（【科普】联邦知识蒸馏概述与思考）提到知识蒸馏是一种模型压缩方法，通过利用复杂模型（TeacherModel）强大的表征学习能力帮助简单模型（StudentModel）进行训练

我爱计算机视觉·2022-11-22 22:36

【科普】联邦知识蒸馏概述与思考

关注公众号，发现CV技术之美随着深度学习与大数据的进一步发展，效果好的模型往往有着较大的规模和复杂的结构，往往计算效率与资源使用方面开销很大，无法部署到一些边缘设备、移动终端或者嵌入式设备上。因此，如何在保证模型性能的前提下减少模型的参数量以及加快模型前向传播效率，这是一个重要的问题，总的来说不同的模型压缩与加速技术具体可以分为以下四类：1）参数剪枝与共享（Parameterpruningands

我爱计算机视觉·2022-11-22 22:35

【异构知识蒸馏：IVIF】

HeterogeneousKnowledgeDistillationforSimultaneousInfrared-VisibleImageFusionandSuper-Resolution（同时进行红外-可见光图像融合和超分辨率的异构知识蒸馏

小郭同学要努力·2022-11-22 22:29

谈谈softmax中常出现的温度系数 T (τ)

我是大黄同学呀·2022-11-22 20:32

模型剪枝

模型压缩又可分很多方法，如剪枝（Pruning）、量化（Quantization）、低秩分解（Low-rankfactorization）、知识蒸馏（Knowledgedistillation）。

ab0902cd·2022-11-22 18:53

【CNN优化加速】02轻量化模型：MobileNet v1-v3、ShuffleNet v1-v2、EfficientNet v1-v2简介

前一篇博文介绍了CNN优化加速的一些基础理论，包括卷积相关的基础知识，常见的CNN模型加速策略（知识蒸馏、量化、剪枝以及设计更轻的网络架构等）【CNN优化加速】01模型压缩基础：常见策略、卷积相关概念_

TianleiShi·2022-11-22 16:14

【Paper Notes】Distillation as a Defense to Adversarial Perturbations against Deep Neural Networks

攻击示例（来源原始论文）为了提高模型的鲁棒性，对恶意的模型攻击进行防御，这篇论文提出用模型蒸馏提高模型鲁棒性的方法，据论文描述，通过蒸馏方法，可以将梯度降低,攻击成功需要修改的特征数目提升到800%。

Kross Sun·2022-11-22 00:44

深度学习科普链接

InfoNCEloss:知乎、B站Glancinglanguagemodel(GLM)：知乎Mixture-of-Experts(MoE)：知乎Sparsely-GatedMixture-of-Experts：知乎知识蒸馏

反卷斗士小郑·2022-11-21 23:55

文献阅读（45）AAAI2021-Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting

文章目录Title总结1问题定义2概率化注意力机制3注意力蒸馏编码4生成式解码Title《Informer:BeyondEfficientTransformerforLongSequenceTime-Se

学徒刘猛·2022-11-21 21:25

蒸馏+Distilling Knowledge via Knowledge Review论文笔记

文章目录一、前言二、蒸馏1.背景介绍2.知识蒸馏和迁移学习之间的区别3.Hinton提出的知识蒸馏Pipeline4.蒸馏的知识形式5.知识蒸馏的方法三、DistillingKnowledgeviaKnowledgeReview

像风一样自由的小周·2022-11-21 15:31

CVPR2022-知识蒸馏与自监督相关paper list

简介简单整理了一下CVPR2022中，知识蒸馏与自监督方向的论文列表，总共加起来有110+，而且不局限于传统的视觉方向，用到了更多的场景中。这个方向的研究还是非常火热的。

littletomatodonkey·2022-11-21 08:00

模型压缩方法汇总和梳理

对比前端压缩后端压缩实现难度较简单较难可逆否可逆不可逆成熟运用剪枝低秩近似、参数量化待发展运用知识蒸馏二值网络前端压缩不会改变原始网络结构的压缩技术。11.知识蒸馏蒸馏模型采用的是

持续努力·2022-11-21 07:28

Waldocsdn·2022-11-21 07:17

模型压缩剪枝蒸馏量化

开源项目与资源PaddleSlim是百度提出的模型优化工具，包含在PaddlePaddle框架中，支持若干知识蒸馏算法，可以在teacher网络和student网络任意层添加组合loss，包括FSPloss

Mr_Troy·2022-11-21 07:46

知识蒸馏 | YOLOv7知识蒸馏实战篇 | 2/2*

知识蒸馏|YOLOv7知识蒸馏实战篇|2/2*文章目录知识蒸馏|YOLOv7知识蒸馏实战篇|2/2*0.环境准备1.训练学生网络2.训练教师网络3.知识蒸馏训练4.YOLOv7官方项目修改说明5.源码0

迪菲赫尔曼·2022-11-21 07:13

一种模型压缩技术

为了有效提升深度模型的性能和效率，通过探索模型的可蒸馏性和可稀疏性，本文提出了一种基于“教导主任-教师-学生”模式的统一的模型压缩技术。

tt姐whaosoft·2022-11-21 07:43

Static-Dynamic Co-teaching for Class-Incremental 3D Object Detection SDCoT论文理解笔记

Static-DynamicCo-teachingforClass-Incremental3DObjectDetectionAbstract3D目标检测在类增时，在不访问就数据的情况下往往会产生灾难性遗忘，提出一个动静态教学的方案，通过静态教师模型为旧类提供伪标签的方式以及通过提取具有蒸馏损失的先前知识来正则化当前模型来减轻遗忘

Lcx559·2022-11-21 03:04

iCaRL:Incremental Classifier and Representation Learning学习笔记

IncrementalClassifierandRepresentationLearning三大要求可以对任何时间出现的任何例子进行训练可以在任何时候为迄今观察到的类提供一个分类器计算和内存需要保持在一定的范围内iCaRL三大组成用最接近平均例子这一规则进行分类基于群的有限示例选择利用知识蒸馏和原型演练进行表征学习

Lcx559·2022-11-21 03:04

Anomaly Detection via Reverse Distillation from One-Class Embedding

论文链接：点击自学所用提出一种反向蒸馏方式，学生网络接受教师网络的一类嵌入作为输入和目标，用以恢复教师的多尺度；引入了一类瓶颈嵌入（OCBE）模块；教师采用编码器和学生采用解码器，学生解码器将低维嵌入作为输入

超想吃柚子·2022-11-20 21:39

Towards Efficient Data Free Black-box Adversarial Attack

由高效的生成器和替代蒸馏模型两部分组成。该方法可以通过少量的查询有效地模拟目标模型，在基于概率和基于标签的黑盒设置下，都能获得较高的成功率。

你今天论文了吗·2022-11-20 19:39

HEAD: HEtero-Assists Distillation for Heterogeneous Object Detectors

ECCV2022异质辅助蒸馏AbstractConventionalknowledgedistillation(KD)methodsforobjectdetectionmainlyconcentrateonhomogeneousteacher-studentdetectors.However

Tecypus·2022-11-20 16:03

Multi-Faceted Distillation of Base-Novel Commonality for Few-shot Object Detection

小目标检测中基于新型共性的多方面蒸馏Abstract.Mostofexistingmethodsforfew-shotobjectdetectionfollowthefine-tuningparadigm

Tecypus·2022-11-20 16:03

论文阅读——Distillation-guided Image Inpainting

Distillation-GuidedImageInpainting(ICCV2021).MaitreyaSuin,KuldeepPurohit,A.N.Rajagopalan[Paper]本文创新点：提出了一种基于知识蒸馏的修复方法

行百里-半九十·2022-11-20 16:31

GLAMD: Global and Local Attention Mask Distillation for Object Detectors

全局-局部注意力的mask蒸馏传统KD关注fore，而忽视的backg，关注全局，忽略local。

Tecypus·2022-11-20 16:14

计算机视觉算法岗面经：商汤/滴滴/腾讯

项目方面主要是图像识别与模型压缩知识蒸馏，一篇1作论文在投。其他专业排名、获奖情况、文体方面不赘述商汤：二面挂。被告知待综合评定，应该就是委婉地挂了5

视学算法·2022-11-20 15:42

解读《Document-Level Relation Extraction with Adaptive Focal Loss and Knowledge Distillation》论文

表示学习：①实体表示②文本增强实体表示③实体对表示④轴向注意增强实体对表征(2)自适应局部损失：①自适应阈值损失（ATL）：a）正面类别：b）负面类别：②ATL与AFL区别：(3)基于远程监督预训练的知识蒸馏

ac不知深·2022-11-20 15:43

知识蒸馏、模型剪枝与量化

1.知识蒸馏1.1知识蒸馏简介知识蒸馏是一种模型压缩常见方法，用于模型压缩指的是在teacher-student框架中，将复杂、学习能力强的网络学到的特征表示“知识”蒸馏出来，传递给参数量小、学习能力弱的网络

jefferyqian·2022-11-20 10:21

【Hinton论文翻译与理解】How to represent part-whole hierarchies in a neural network_202102

这些优势包括transformer、神经场（neuralfield）、对比表示学习、知识蒸馏、胶囊网络。GLOM回答以下问题：一个固定结

tyhj_sf·2022-11-20 07:41

论文(四)：DTFD-MIL: Double-Tier Feature Distillation Multiple Instance Learning for Histopathology Whole

Double-TierFeatureDistillationMultipleInstanceLearningforHistopathologyWholeSlideImageClassification--CVPR(2022)DTFD-MIL:双层特征蒸馏多实例学习用于组织病理学整片图像分类

小王不叫小王叭·2022-11-20 05:34

3D 语义分割——2DPASS

据作者团队所知，2DPASS是第一个将多模态信息蒸馏后并用于单点云（模态）的语义分割方法利用论文所提出的多尺度融合进行单知识蒸馏（MSFSKD）策略，2DPASS在SemanticKITTI和NuScenes

Lemon_Yam·2022-11-20 03:44

阅读笔记2DPASS: 2D Priors Assisted SemanticSegmentation on LiDAR Point Clouds LiDAR

主要贡献：2D先验辅助语义分割(2DPASS)+多尺度融合到单知识蒸馏(MSFSKS)策略原文下载链接：https:/

shiyueyueya·2022-11-20 03:29

Let Images Give You More

目录背景知识蒸馏方法网络架构算法步骤LearningImagePriorsCross-ModalPointGeneratorImagePriorsAssistedTrainingClassifierLossFeatureEnhancementLossClassifierEnhancementLossFinalLoss

一个普通的求学者·2022-11-20 01:41

[深度学习入门]知识蒸馏

DistillingtheKnowledgeinaNeuralNetwork相关论文查找网站：1.ConnectedPapers|Findandexploreacademicpapers2.https://paperswithcode.com/3.知识蒸馏在做什么

Guycynnnnn·2022-11-20 00:43

CD2-pFed: Cyclic Distillation-guided Channel Decoupling for ModelPersonalization in Federated Lear论文

背景知识蒸馏将同一批数据同时放入两个模型中，将教师模型的预测输出作为软标签，将真实标签作为硬标签，分别计算学生模型的两种损失，最后将两个损失加权求和，作为最终损失更新网络参数。

Mp4r8672v·2022-11-19 17:01

先对齐再融合，Salesforce Research提出ALBEF，用动量蒸馏进行多模态表示学习！多个下游任务性能SOTA！...

关注公众号，发现CV技术之美▊写在前面大规模的视觉和语言表征学习在各种视觉语言任务上显示出了良好的提升。现有的方法大多采用基于Transformer的多模态编码器来联合建模视觉token和单词token。由于视觉token和单词token不对齐，因此多模态编码器学习图像-文本交互具有挑战性。在本文中，作者引入了一种对比损失，通过在跨模态注意前融合(ALBEF)来调整图像和文本表示，从而引导视觉和语

我爱计算机视觉·2022-11-19 14:25

算法面经广联达、中兴、电信篇

广联达1.singlepass方法2.关键词识别用的什么方法3.做的项目克服了什么困难4.对比学习构造正负样例的方法5.对知识蒸馏其他方法的调研6.transformer内部结构7.GIL：为了保护多线程下对

持续战斗状态·2022-11-19 10:20

读Hearing Lips：Improving Lip Reading by Distilling Speech Recognizers论文

论文：https://arxiv.org/pdf/1911.11502.pdf代码：无标题：听唇：通过蒸馏语音识别器改善唇读关键词：多模态、语音唇读LIBS、CMLR中文数据集、LipbySpeech(

让我看看谁在学习·2022-11-19 10:15

(Unsupervised Anomaly Detection)无监督异常检测领域最新研究进展 - Part 3 基于嵌入的方法（1）【持续更新...】

文章目录前言1.基于预训练模型1.1SPADE(CVPR2021)1.2PaDiM（ICPR2020）1.3PatchCore（2021）1.4FocusYourDistribution（2021）2.知识蒸馏

我是大黄同学呀·2022-11-19 10:35

深度学习模型压缩分类及原理方法

深度学习模型压缩分类及原理方法深度学习模型压缩分类###精细模型设计###模型裁剪及权重共享复用###低秩近似###知识蒸馏###核的稀疏化###模型量化（网络二值化）剪枝就是通过去除网络中冗余的channels

Mira-Tableau·2022-11-19 09:22

LMTC-emnlp论文+代码剖析(BERT-LWAN)

原文实验用的是蒸馏的Bert即DistillBert-LWAN。评估标准Precision@K:P@

wcx881212·2022-11-19 09:30

2022.7.10第十四次周报

二、KnowledgeDistillation(知识蒸馏)1.KnowledgeDistillation2.Temperatureforsoftmax三、ParameterQuantization（

孙源峰·2022-11-19 08:23

yolov5剪枝实战2:网络剪枝原理介绍

Networkpruning)2.稀疏表示(Sparserepresentation)3.Bitsprecision(低比特表示，比如不用浮点型，使用int量化)4.Kownledgedistillation(知识蒸馏

@BangBang·2022-11-19 06:59

吐血整理了下AAAI2022中和NLP相关的论文，包括信息抽取、机翻、NER、多模态、数据增强、问答、多语言、KD、文本纠错等...

其中包括：信息抽取、关系抽取、机器翻译、命名实体识别、多模态、数据增强、智能问答、多语言、知识蒸馏、文本纠错等。信息抽取OneRel:JointEntityandRelationExtracti

zenRRan·2022-11-19 01:09

深度学习模型压缩技术概览

剪枝非结构化剪枝结构化剪枝量化低秩近似（Low-rankapproximation）知识蒸馏（Knowledgedistillation）神经架构搜索(NAS)结论参考量化Low-RankApproximationKnowledgeDistillationNeuralArchitectureSearch

程序之巅·2022-11-17 07:59

使用BML五分钟实现模型压缩及部署

课程回顾服务端部署的弊端靠近数据侧的边缘部署边缘计算痛点EasyEdge端边缘部署平台平台技术架构模型转换模型转换优化对AI框架和神经网络的支持情况模型压缩量化模型压缩，剪枝和蒸馏模型压缩调度框架边缘部署开发框架套件部署解析优化支持硬件部署案例展示

愚昧之山绝望之谷开悟之坡·2022-11-17 07:23

推荐频道

蒸馏）