【研究周报】第2周

学习周期：
2023.03.06～2023.03.11
内容产出： 我的个人主页

1.论文阅读

Dreaming to Distill: Data-free Knowledge Transfer via DeepInversion

总结：本方法基于均值和方差，为dreamed images的中间层活动引入一个正则化术语，不需要任何训练数据或元数据来执行训练图像合成。同时提出了自适应DeepInvestival以增强生成图像的多样性。通过最大化两个网络的响应之间的JS散度来实现。

本文的出发点：在缺乏训练数据时，我们能否以某种方式从已经训练好的模型中恢复训练数据，并将其用于知识蒸馏呢？

本文提出的DeepInversion包括两个步骤：
1.Model Inversion：就是去生成一些训练图片。具体做法就是类似 DeepDream，采取优化输入图片的方式。

2.Knowledge Distillation：根据这些生成的训练图片，和教师网络来基于特定任务蒸馏学生网络。

DeepInversion(DI)：DeepInversion 其实可以看成是 DeepDream 的改进版本，主要是对正则化项R(x)进行改进。改进后：

Adaptive DeepInversion (ADI)：除了生成图片的质量之外，生成图片的多样性也是一个很重要的因素。Adaptive DeepInversion 的竞争性和互动性有利于不断进化的学生，这逐渐迫使新的图像特征出现，并使得 DeepInversion 得到增强。

总体的网络结构：

上图左边第一部分为Adaptive DeepInversion。注意这步里面的 Student model 是一个预训练好的模型，不是后面那步的 Student model。上图右边第二部分为Knowledge Distillation。使用合成的图片缩小 Student 和 Teacher 输出之间的距离。这样不断迭代地去训练 Student model 和 输入图片，最终实现不错的效果。

总结：DeepInversion 通过 Model Inversion 去生成一些训练图片。具体做法就是类似 DeepDream，采取优化输入图片的方式。并结合 Knowledge Distillation，根据这些生成的训练图片，和教师网络来基于特定任务蒸馏学生网络。合成图片效果相比 DeepDream 而言是更优的。

2.其他学习

复习了机器学习常用算法

3.未解疑问

1.通过对比几篇论文，找到共通点以及学习各自的创新点。
2.继续深挖代码。

4.下周计划

1.论文阅读
2.深挖代码
3.产出1-2篇相关博客