【李宏毅2020 ML/DL】P51 Network Compression - Knowledge Distillation | 知识蒸馏两大流派
我已经有两年ML经历,这系列课主要用来查缺补漏,会记录一些细节的、自己不知道的东西。已经有人记了笔记(很用心,强烈推荐):https://github.com/Sakura-gh/ML-notes本节内容综述本节课由助教ArvinLiu补充一些前沿的技术,李老师讲的,其实有些老了。首先复习模型压缩的四个流派。Whylearn'emall?Mixit!助教举了一个混合的例子。接下来进入本节课正题,讲