Dynamic Few-Shot Visual Learning without Forgetting||论文阅读

 

元学习论文总结||小样本学习论文总结

2017-2019年计算机视觉顶会文章收录 AAAI2017-2019 CVPR2017-2019 ECCV2018 ICCV2017-2019 ICLR2017-2019 NIPS2017-2019

 


 

文章介绍:

这篇文章和前面两篇的基本思想也非常类似,也是直接用已有的大的数据集训练,核心还是在于如何处理新task 新class的输出。

Dynamic Few-Shot Visual Learning without Forgetting||论文阅读_第1张图片

那么这篇文章的idea和上一篇其实没有本质的区别,或者说几乎就是一样的,先用training set训练出一个feature extractor,然后对于新的few shot training data,通过一个few-shot classification weight generator来生成对应的参数weight。一点具体处理的小细节就是这个weight generator还把base weight作为输入,同时计算最后的概率输出不是直接相乘,而是使用cosine similarity相似度来算(这里的根本原因是base weight和novel weight的生成方式不同,量级可能差很多,而只用cosine similarity则不需要考虑这个量级的问题),最后就是作者在使用多个few shot样本时不仅仅是简单粗暴的对feature取平均,而且使用了attention注意力机制来选择对应的base weight,效果会更好。

最后说一下整个训练过程,不是完全的端到端过程而是分两步训,这个其实和前面两篇文章也一样,先训练出feature extractor,然后再固定它,训练后面的weight generator。个人认为这样做是比较丑的,而且并不利于效果的提升。

相比上面两篇文章,整体感觉这篇文章的处理会更好一些,特别是最后使用了attention-based weight generator,比较明显可以提升效果。那么实际实验上这篇文章只使用了64类,和其他方法是公平比较的,虽然看结果比前两篇略低,但估计如果是使用80类做training结果会更好。

 

 


文章阅读https://blog.csdn.net/few_shot/article/details/90048319#Methodology_24

你可能感兴趣的:(深度学习,元学习,paper,reading)