Knowledge Transfer论文、代码汇总

2018

Learning Deep Representations with Probabilistic Knowledge Transfer(ECCV)

code: https://paperswithcode.com/paper/learning-deep-representations-with

摘要： 知识转移（Knowledge Transfer， KT）技术解决了将知识从一个大型而复杂的神经网络转移到一个更小而更快的神经网络的问题。然而，现有的KT方法是针对分类任务量身定制的，它们不能有效地用于其他表示学习任务。本文提出了一种新的概率知识转移方法，该方法是匹配数据在特征空间中的概率分布，而不是它们的实际表示。除了优于现有KT技术，提出的方法允许克服的局限性提供新的见解KT以及小说KT应用程序，从KT从手工制作的特性提取器跨模式KT从文本模式到表示从视觉模式中提取的数据。

2019

LIKE WHAT YOU LIKE: KNOWLEDGE DISTILL VIA NEURON SELECTIVITY TRANSFER

code: https://paperswithcode.com/paper/like-what-you-like-knowledge-distill-via

摘要： 尽管深度神经网络在各种应用中都表现出了非凡的能力，但它们优越的性能是以牺牲高存储和计算成本为代价的。因此，神经网络的加速和压缩问题最近引起了人们的广泛关注。知识转移（KT）是一种流行的解决方案之一，它旨在通过从较大的教师模式转移知识来培训较小的学生网络。本文提出了一种新的知识转移方法，并将其作为一个分布匹配问题来处理。特别地，我们匹配了教师和学生网络之间的神经元选择性模式的分布。为了实现这一目标，我们设计了一个新的KT损失函数，通过最小化这些分布之间的最大平均差异（MMD）度量。结合原始的损失函数，我们的方法可以显著提高学生网络的性能。我们在几个数据集上验证了我们的方法的有效性，并进一步将其与其他KT方法结合起来，以探索可能的最佳结果。最后但并非最不重要的是，我们对模型调整到其他任务，如对象检测。结果也令人鼓舞，这证实了学习特征的可转移性。

论文的贡献：

• 本文提出了一种关于知识传递问题的新观点，并提出了一种用于网络加速和压缩的神经元选择性传递（NST）的新方法。
• 我们在几个数据集上测试了我们的方法，并提供证据，表明我们的神经元选择性转移比学生取得了更高的表现。
• 我们证明了我们提出的方法可以与其他知识转移方法相结合，以探索最佳的模型加速和压缩结果。
• 我们演示了知识转移有助于学习更好的特征，而其他计算机视觉任务，如目标检测也可以从中受益。