知识蒸馏论文翻译第18页

ICLR 2021 | SEED：自监督蒸馏学习，显著提升小模型性能！

针对现有对比自监督学习方案在小模型上表现性能差的问题，提出将知识蒸馏的思想嵌入到自

Amusi（CVer）·2022-12-18 12:32

使用PyTorch进行知识蒸馏的代码示例

提高大型复杂模型在小数据集性能的一种有效技术是知识蒸馏，它包括训练一个更小、更有效的模型来模仿一个更大的“教师”模型的行为。在本文中，我们将探索知识蒸馏的概念，以及如何在PyTorch中实现它。

deephub·2022-12-18 12:00

CAM：Learning Deep Features for Discriminative Localization论文翻译笔记（2016-CVPR）

2016-CVPR-CAM论文笔记CAM原文：LearningDeepFeaturesforDiscriminativeLocalization摘要这项工作中，作者重新审视了之前提出的全局平均池化层（globalaveragepooling，GAP），并阐明了它是如何使只经过图像标签训练CNN具备显著的定位能力（localizationability）。虽然GAP最初是作为规范化训练手段被提出的，

灼灼其华R·2022-12-18 11:22

图像分类经典卷积神经网络—ZFNet论文翻译（中英文对照版）—Visualizing and Understanding Convolutional Networks(可视化和理解卷积网络)

图像分类经典论文翻译汇总：[翻译汇总]翻译pdf文件下载：[下载地址]此版为中英文对照版，纯中文版请稳步：[ZFNet纯中文版]VisualizingandUnderstandingConvolutionalNetworks

bigcindy·2022-12-17 17:09

使用PyTorch进行知识蒸馏的代码示例

提高大型复杂模型在小数据集性能的一种有效技术是知识蒸馏，它包括训练一个更小、更有效的模型来模仿一个更大的“教师”模型的行为。在本文中，我们将探索知识蒸馏的概念，以及如何在PyTorch中实现它。

·2022-12-17 11:10

用于移动端食物识别的少样本（few-shot）和多样本（many-shot）融合学习（fusion learning）

Few-ShotandMany-ShotFusionLearninginMobileVisualFoodRecognition目录0.摘要0.1关键词和名词解释1.简介2.Few-shot和many-shot融合的学习2.1数据集NTU-IndianFood1072.2使用两步知识蒸馏

EDPJ·2022-12-16 23:07

知识蒸馏论文学习（同济子豪兄）

一.部署工具：MMDeploy二.模型压缩方法：知识蒸馏，权值量化，剪枝（权重剪枝，通道剪枝），注意力迁移三.硬件部署：rensorRT，rensorflow-slim，tensorflow-lite，

Sunt40·2022-12-16 15:40

卷积神经网络的可视化

VisualizingandUnderstandingConvolutionalNetworks（卷积神经网络的可视化理解）论文下载：https://arxiv.org/pdf/1311.2901.pdf论文翻译

快乐小码农·2022-12-16 11:02

【Occlusion-Aware Networks for 3D Human Pose Estimation in Video】论文翻译

用于视频中的三维人类姿态估计的遮挡感知网络摘要一、简介二、相关工作三、识别遮挡的三维姿势估计3.1.二维姿态估计3.2.三维姿态估计四、圆筒人模型4.1.模型的定义4.2.姿势数据的增强4.3.姿势规则化五、实验5.1.实验设置5.2.实施细节5.3.超参数敏感度分析5.4.消融研究5.5.定量结果5.6.定性结果5.7.局限性和未来工作六、结论摘要遮挡是单眼视频中3D人体姿势估计的一个关键问

愤怒的potato·2022-12-16 09:00

【论文笔记】Student-Teacher Feature Pyramid Matching for Anomaly Detection

2103.04257.pdf代码可以参考：https://paperswithcode.com/paper/student-teacher-feature-pyramid-matching-for核心：利用知识蒸馏的方式在

HarryXxc·2022-12-16 07:43

《论文笔记》Anomaly Detection via Reverse Distillation from One-Class Embedding

这是2022年的CVPR文章，作者提出了一个创新的知识蒸馏方案：反转知识蒸馏论文地址：https://arxiv.org/pdf/2201.10703v1.pdfMotivation论文针对传统的知识蒸馏的方案提出了一个问题

HarryXxc·2022-12-16 07:41

3D点云论文翻译《PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation》

论文链接：https://arxiv.org/abs/1612.00593代码链接：官方源码(tensorflow版)pytorch复现版本Abstract点云是一种重要的几何数据结构。由于其格式不规则，大多数研究人员将这些数据转换为规则的3D体素网格或图像集合。但是这会使数据变得庞大，进而导致一些问题。在本文中，我们设计了一种新型的神经网络，它可以直接使用点云并且很好地利用了点云的置换不变性(p

派小汤·2022-12-16 00:41

DeepMind:星际争霸2：强化学习新挑战（论文翻译）

星际争霸2：强化学习新挑战原文下载链接：https://deepmind.com/documents/110/sc2le.pdf整个论文分为：摘要（Abstract）1.介绍（Introduction）2.相关工作（Relatedwork）3.sc2le环境（TheSC2LEEnvironment）4.强化学习：基线代理（ReinforcementLearning:BaselineAgents）、

BBlue-Sky·2022-12-16 00:55

[论文理解]极坐标转换网络Polar Transfomer Network（PTN）

之前做过PTN的论文翻译，但有些没把握住精髓，这次对PTN进行了提炼，会清楚许多。

不想待在银河系·2022-12-15 23:45

【经典简读】知识蒸馏(Knowledge Distillation) 经典之作

【经典简读】知识蒸馏(KnowledgeDistillation)经典之作转自：【经典简读】知识蒸馏(KnowledgeDistillation)经典之作作者：潘小小知识蒸馏是一种模型压缩方法，是一种基于

Adenialzz·2022-12-15 22:45

深度学习三大谜团：集成、知识蒸馏和自蒸馏

深度学习三大谜团：集成、知识蒸馏和自蒸馏转自：https://mp.weixin.qq.com/s/DdgjJ-j6jHHleGtq8DlNSA原文（英）：https://www.microsoft.com

Adenialzz·2022-12-15 22:45

论文研读--Masked Generative Distillation

论文：https://arxiv.org/abs/2205.01529github：https://github.com/yzd-v/MGD看到CV领域的知识蒸馏，看完摘要和图片后，心中大喜哈哈哈知识蒸馏还能这么做

jiangchao98·2022-12-15 14:01

Zotero 6 文献管理 + 内置PDF阅读器 + 选中翻译

如果你还不会用zotero，快去看这篇：软件推荐：论文翻译阅读+文献管理+markdown笔记+多设备同步+一键导出bib参考文献…学生党可能很多都知道知云，一个看论文神器，直接选中翻译，支持百度、谷歌

LolitaAnn·2022-12-15 13:26

[GAN]Free-Form Image Inpainting with Gated Convolution论文翻译（回归帖~\(￣︶￣*\))）

Free-FormImageInpaintingwithGatedConvolution一些废话0.摘要1.引言2.相关工作Reference一些废话好久没有认真写博客了，10月份之前一直在忙保研的事情（其实也不算很忙，更多是情绪和心态上的内耗，忙起来反而会觉得很轻松吧）。有粉丝私信问我最后去了哪里，博主最后保研到了复旦大学的计算机学院，非常幸运的拿到了学硕资格，做的是ai方向，plus实验室有一

Vanessa Ni·2022-12-15 13:20

李宏毅机器学习作业13——网络压缩，模型剪枝，知识蒸馏，Depthwise Separable Convolution

理论参见：高效深度学习软硬件设计——神经网络压缩、Pruning模型剪枝、权值共享、低秩近似_iwill323的博客-CSDN博客目录任务和数据集任务描述数据集导包辅助函数数据处理显示文件夹和文件数量transformsDataset数据加载函数分类模型训练加载数据集训练函数进行训练推断加载数据architecturedesign概念DepthwiseSeparableConvolution建立模

iwill323·2022-12-15 06:28

AlexNet论文翻译（纯中文版）-ImageNet Classification with Deep Convolutional Neural Networks

图像分类经典论文翻译汇总：[翻译汇总]翻译pdf文件下载：[下载地址]此版为纯中文版，中英文对照版请稳步：[AlexNet中英文对照版]深度卷积神经网络的ImageNet分类AlexKrizhevsky

bigcindy·2022-12-15 06:23

自知识蒸馏（知识蒸馏二）

自知识蒸馏（知识蒸馏二）自知识蒸馏（知识蒸馏二）Born-AgainNeuralNetworks（ICML2018）方法为什么有效实验结果TrainingDeepNeuralNetworksinGenerations

Man in Himself·2022-12-14 15:14

SAD（自我注意力蒸馏）：Learning Lightweight Lane Detection CNNs by Self Attention Distillation

LearningLightweightLaneDetectionCNNsbySelfAttentionDistillation项目地址：Codes-for-Lane-Detection说到蒸馏，可能想到最多的就是知识蒸馏

狂奔的菜鸡·2022-12-14 15:44

【论文笔记_自蒸馏_2021】GROUND-TRUTH TARGETS DAMPEN REGULARIZATION IMPOSED BY SELF-DISTILLATION

摘要知识蒸馏是一个经典的程序，其中一个神经网络与原始目标一起在另一个网络的输出上进行训练，以便在架构之间转移知识。在自我蒸馏的特殊情况下，网络架构是相同的，已经被观察到可以提高泛化的准确性。

乱搭巴士·2022-12-14 15:12

【知识蒸馏】浅谈自知识蒸馏和自监督知识蒸馏的区别

今天在看《RefineMyselfbyTeachingMyself:FeatureRefinementviaSelf-KnowledgeDistillation》，然后在纠结里面的方法到底是自知识蒸馏还是自监督知识蒸馏

乱搭巴士·2022-12-14 15:42

ICLR2021自蒸馏方法SEED：显著提升小模型性能

针对现有对比自监督学习方案在小模型上表现性能差的问题，提出将知识蒸馏的思想嵌入到自监督学习框架得到了本文的自监督蒸馏学习。

夜雨寒风·2022-12-14 15:41

深度学习精度提升 3 个小妙招：模型集成、知识蒸馏、自蒸馏

点击上方，选择星标或置顶，每天给你送干货！转载:AI公园作者：ZeyuanAllen-Zhu编译：ronghuaiyang导读训练好的模型，用自己蒸馏一下，就能提高性能，是不是很神奇，这里面的原理到底是什么呢，这要从模型集成开始说起。在现在的标准技术下，例如过参数化、batch-normalization和添加残差连接，“现代”神经网络训练——至少对于图像分类任务和许多其他任务来说——通常是相当稳

zenRRan·2022-12-14 15:11

深度学习优化利器：集成、知识蒸馏和自蒸馏

本文是对上述问题的解析，作者解读了来自微软研究院高级研究员朱泽园博士，以及卡内基梅隆大学机器学习系助理教授李远志的最新论文《在深度学习中理解集成，知识蒸馏和自蒸馏》。

there2belief·2022-12-14 15:41

自蒸馏、知识蒸馏

自蒸馏（SelfDistillation）：是采用有监督学习进行知识蒸馏。

Ko_len·2022-12-14 15:10

深度学习三大谜团：集成、知识蒸馏和自蒸馏

编译：梦佳校对：周寅张皓集成（Ensemble，又称模型平均）是一种「古老」而强大的方法。只需要对同一个训练数据集上，几个独立训练的神经网络的输出，简单地求平均，便可以获得比原有模型更高的性能。甚至只要这些模型初始化条件不同，即使拥有相同的架构，集成方法依然能够将性能显著提升。但是，为什么只是简单的「集成」，便能提升性能呢？目前已有的理论解释大多只能适用于以下几种情况：（1）boosting：模型

智源社区·2022-12-14 15:09

知识蒸馏之自蒸馏

知识蒸馏之自蒸馏@TOC知识蒸馏之自蒸馏本文整理了近几年顶会中的蒸馏类文章（强调self-distillation）,后续可能会继续更新其他计算机视觉领域顶会中的相关工作，欢迎各位伙伴相互探讨。

随性奋进的女程序猿·2022-12-14 15:08

小白读论文-U-Net（2015年）

https://arxiv.org/pdf/1505.04597v1.pdf代码地址：pytorch代码https://github.com/LeeJunHyun/Image_Segmentation论文翻译与解析

dear_queen·2022-12-14 15:53

WorldS4 2020 | 联邦学习的个性化技术综述

目录前言摘要I.引言II.个性化需求III.方法A.添加用户上下文B.迁移学习C.多任务学习D.元学习E.知识蒸馏F.基础+个性化层G.全局模型和本地模型混合IV.总结前言题目：SurveyofPersonalizationTechniquesforFederatedLearning

Cyril_KI·2022-12-14 07:41

论文翻译：Dual-path RNN: efficient long sequence modeling for time-domain single-channel speech separatio

论文出处：https://arxiv.org/abs/1910.06379摘要近年来基于深度学习的语音分离研究证明了时域方法相对于传统的时频分离方法的优越性。与时频域方法不同的是，时域分离系统经常接收到包含大量时间步长的输入序列，这给极长的序列建模带来了挑战。传统的递归神经网络(rnn)由于优化困难，不能有效地对这类长序列进行建模，而一维卷积神经网络(1-Dcnn)在接受域小于序列长度时无法进行话

乐阳欣·2022-12-14 07:07

知识蒸馏如何快速提升人工智能模型的性能？

知识蒸馏的诞生背景近年来，深度神经网络（DNN）在工业界和学术界都取得了巨大成功，尤其是在计算机视觉任务方面。

网易易盾·2022-12-14 07:26

TransH论文翻译

KnowledgeGraphEmbeddingbyTranslatingonHyperplanes摘要研究了将由实体和关系组成的大规模知识图谱嵌入到连续向量空间中的问题。TransE是最近提出的一种很有前途的方法，其非常高效，同时可以获得最优的预测效果。我们讨论了一些关系的映射属性，这些属性在嵌入时应该被考虑，比如自反性、一对多、多对一和多对多。我们注意到，TransE在处理这些属性方面做得并不好

Ting廷帅·2022-12-14 06:55

目标检测：R-CNN论文翻译

摘要：在本文中，我们提出一个检测算法，R-CNN，在VOC2012中，map到达53.3%。我们主要结合了两个关键的想法，（1）将高容量的卷积神经网络用于自底向上的区域候选框，为了定位及分割对象。（2）当标记训练数据稀疏时，选进行监督与训练，然后进行特定区域的精细调优。最终效果很好。1.Introduction以前目标检测大多基于SIFT和HOG获得图像局部特征。1990年CNN被大量使用，随着S

tyf1846923·2022-12-14 06:16

【3D点云】PointCNN：论文翻译及Pytorch代码实现

目录1CNN（卷积神经网络）1.1卷积层1.2完全连接层1.3卷积的应用2PointNet2.1网络结构2.2局限性3PointCNN：ConvolutionOnX-TransformedPoints3.1Abstract3.2Introduction3.3RelatedWork3.4PointCNN3.4.1分层卷积3.4.2X卷积算子3.4.3PointCNN架构3.5分类实验3.5.1数据集

kandy990125·2022-12-13 22:07

Lidar based off-road negative obstacle detection and analysis(论文翻译)

（机翻自己留作资料的大家辩证使用论文地址：https://ieeexplore.ieee.org/document/6083105）Abstract:无人驾驶地面车辆(UGV)要想在越野地形中高速行驶，就必须实时分析和了解周围的地形：它必须知道它打算去哪里，哪里有危险，以及许多细节地形的地形。在避障、地形分类和路径规划方面已经进行了大量研究，但仍然很少有UGV系统能够准确地高速自主穿越越野环境。在

不太会转弯儿·2022-12-13 18:02

论文翻译：USE OF LIDAR FOR NEGATIVE OBSTACLE DETECTION: A THOROUGH REVIEW

(鉴定为水刊综述老板让看的)Abstract：野外自动驾驶陆地车辆的负面障碍是指路面上的坑洼、沟渠、悬崖、坑或任何类型的障碍物，但不是以可见的方式，它给车辆或潜在的乘客带来风险，甚至给环境带来风险。自主陆地车辆正在前进。这些负面障碍会对自动驾驶陆地车辆造成严重损坏，包括车辆悬架损坏、侧翻，甚至自动驾驶车辆丢失。障碍物检测是避免任何风险的第一步，能够警告附近的障碍物以避免可能出现的任何类型的危险是极

不太会转弯儿·2022-12-13 18:32

论文翻译：Robust Negative Obstacle Detection in Off-Road Environments Using Multiple LiDARs

论文原址：https://ieeexplore.ieee.org/document/9108058Abstract:自动驾驶汽车在越野环境中行驶时，必须实时分析和了解周围的地形。然而，很少有UGV能够在高速自主地检测越野环境中的坑和沟渠。本文提出了一种使用多个侧面安装的LiDAR的自动驾驶车辆的自适应负障碍物检测方法。该方法首先从原始传感器数据中提取径向方向的距离跳跃，得到潜在的负障碍物特征点对，

不太会转弯儿·2022-12-13 18:30

【研一小白白话理解】各种小知识

知识蒸馏softmax的输出一定是正数，且每个元素和加起来为1。而llog_softmax全部都是负数。

Titus W·2022-12-13 12:19

NER 数据增强

文章目录DAGA模型利用教师模型与知识蒸馏DAGA模型https://zhuanlan.zhihu.com/p/342032812核心思想：标签线性化以后送入语言模型训以完成数据增强标签线性化：语言模型

酷暑冷冰·2022-12-13 12:37

KD-VLP：知识蒸馏和预训练还能这么结合？上科大&Intel&MSRA提出基于知识蒸馏的端到端多模态预训练模型...

ImprovingEnd-to-EndVision-and-LanguagePretrainingwithObjectKnowledgeDistillation』，由上科大&Intel&MSRA联合提出基于知识蒸馏的端到端多模态预训练模型

我爱计算机视觉·2022-12-13 11:46

SCI论文翻译过程中什么地方容易出现问题？

写SCI论文需要具备的条件很多，英语水平就是其中一个。大家都知道，SCI论文是英文写作，对论文作者的英文要求较高。不少论文作者在进行英文写作时，会出现一些常见错误，导致论文被拒。为了减少这种问题的出现，论文作者要避免翻译的三个问题。51xxziyuan（1）句子太长论文最多最大的弊病，是句子太长，比如中文中说：“本着…，在…的基础上，本文分析了…”，“立足于…，在分析了…的基础上，作者联系当前实际

科研小行星·2022-12-13 08:22

【论文翻译】Graph Contrastive Learning with Augmentations

GraphContrastiveLearningwithAugmentations目录GraphContrastiveLearningwithAugmentations摘要1，引言2，相关工作3，方法论3.1，图形的数据增强3.2，图对比学习4，数据增强在图形对比学习中的作用4.1，数据指导是至关重要的。构成指导的好处。4.2，有效图形增强的类型、范围和模式4.3，与“更硬”的任务不同，过于简单的

孤天·2022-12-12 21:50

(MAML)Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks

weixin_41803874/article/details/89645667https://blog.csdn.net/weixin_41803874/article/details/91454944论文翻译

alicecv·2022-12-12 20:05

翻译论文一

关键词GenerativeAdversarialNetwork对抗生成网络论文翻译title：博弈论：对抗生成网络的博弈论模型摘要：生成性对抗网络作为人工智能领域的研究方向，由于其生成高质量真实数据的能力

ChangeWfafa·2022-12-12 16:01

【文献学习】群体知识转移:边缘大型cnn的联邦学习

FedGKT设计了交替最小化方法的一种变体，在边缘节点上训练小型CNN，并定期通过知识蒸馏（KnowledgeDistillation）将其知识转移到大型服务器端CNN。

晨曦未眠·2022-12-12 16:25

python工具方法35 实现SWA，再一次提升模型的性能

SWA的论文翻译：https:

万里鹏程转瞬至·2022-12-12 15:36

推荐频道

知识蒸馏论文翻译

ICLR 2021 | SEED：自监督蒸馏学习，显著提升小模型性能！

使用PyTorch进行知识蒸馏的代码示例

CAM：Learning Deep Features for Discriminative Localization论文翻译笔记（2016-CVPR）

图像分类经典卷积神经网络—ZFNet论文翻译（中英文对照版）—Visualizing and Understanding Convolutional Networks(可视化和理解卷积网络)

使用PyTorch进行知识蒸馏的代码示例

用于移动端食物识别的少样本（few-shot）和多样本（many-shot）融合学习（fusion learning）

知识蒸馏论文学习（同济子豪兄）

卷积神经网络的可视化

【Occlusion-Aware Networks for 3D Human Pose Estimation in Video】论文翻译

【论文笔记】Student-Teacher Feature Pyramid Matching for Anomaly Detection

《论文笔记》Anomaly Detection via Reverse Distillation from One-Class Embedding

3D点云论文翻译《PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation》

DeepMind:星际争霸2：强化学习新挑战（论文翻译）

[论文理解]极坐标转换网络Polar Transfomer Network（PTN）

【经典简读】知识蒸馏(Knowledge Distillation) 经典之作

深度学习三大谜团：集成、知识蒸馏和自蒸馏

论文研读--Masked Generative Distillation

Zotero 6 文献管理 + 内置PDF阅读器 + 选中翻译

[GAN]Free-Form Image Inpainting with Gated Convolution论文翻译（回归帖~\(￣︶￣*\))）

李宏毅机器学习作业13——网络压缩，模型剪枝，知识蒸馏，Depthwise Separable Convolution

AlexNet论文翻译（纯中文版）-ImageNet Classification with Deep Convolutional Neural Networks

自知识蒸馏（知识蒸馏二）

SAD（自我注意力蒸馏）：Learning Lightweight Lane Detection CNNs by Self Attention Distillation

【论文笔记_自蒸馏_2021】GROUND-TRUTH TARGETS DAMPEN REGULARIZATION IMPOSED BY SELF-DISTILLATION

【知识蒸馏】浅谈自知识蒸馏和自监督知识蒸馏的区别

ICLR2021自蒸馏方法SEED：显著提升小模型性能

深度学习精度提升 3 个小妙招：模型集成、知识蒸馏、自蒸馏

深度学习优化利器：集成、知识蒸馏和自蒸馏

自蒸馏、知识蒸馏

深度学习三大谜团：集成、知识蒸馏和自蒸馏

知识蒸馏之自蒸馏

小白读论文-U-Net（2015年）

WorldS4 2020 | 联邦学习的个性化技术综述

论文翻译：Dual-path RNN: efficient long sequence modeling for time-domain single-channel speech separatio

知识蒸馏如何快速提升人工智能模型的性能？

TransH论文翻译

目标检测：R-CNN论文翻译

【3D点云】PointCNN：论文翻译及Pytorch代码实现

Lidar based off-road negative obstacle detection and analysis(论文翻译)

论文翻译：USE OF LIDAR FOR NEGATIVE OBSTACLE DETECTION: A THOROUGH REVIEW

论文翻译：Robust Negative Obstacle Detection in Off-Road Environments Using Multiple LiDARs

【研一小白白话理解】各种小知识

NER 数据增强

KD-VLP：知识蒸馏和预训练还能这么结合？上科大&Intel&MSRA提出基于知识蒸馏的端到端多模态预训练模型...

SCI论文翻译过程中什么地方容易出现问题？

【论文翻译】Graph Contrastive Learning with Augmentations

(MAML)Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks

翻译论文一

【文献学习】群体知识转移:边缘大型cnn的联邦学习

python工具方法35 实现SWA，再一次提升模型的性能