META-LEARNING WITH ATTENTION FOR IMPROVED FEW-SHOT LEARNING论文笔记

好久没看到这么好的论文了, 这才是论文嘛~

普林斯顿大学的 Zejiang Hou(没找到中文名 可能是侯泽江?)


论文主要就是在MAML的基础上添加了三个部分, 一个是和L2F类似的用额外网络通过输入中间变量或梯度信息计算一个权重来动态调整模型参数达到task-specific的效果, 另一个是一种特殊线性分类器构造方法用于作分类器, 最后一个是在inner_loop中按无监督手段把query set里数据视为无标签数据用来作惩罚项加入迭代loss中. 这三种技术看起来都不是原创新特别强的技术, 第一种有l2f先例, 最后一种直接用的是熵正则, 中间的线性分类器在Euclidean nearest centroid classifier基础提出了一种基于attention的优化(就是加个attention层来得到优化的mean).


这应该就是经典的高级缝合怪, 文章首先写的非常流畅, 读起来很舒服, 英语基础很好. 其次在实验效果上也非常棒, 虽然不是那种绝对原创的技术, 但是肯定是合格的学术产出.

效果确实起飞
消融实验

充分说明元学习还有很多能做的, 并不是真的到头了, 但是我好奇这么好的文章为什么只投了个B类, 可能是国外重视程度和国内CCF不一样? 文章投的是ICASSP 2021

你可能感兴趣的:(META-LEARNING WITH ATTENTION FOR IMPROVED FEW-SHOT LEARNING论文笔记)