Meta-learning with differentiable closed-form solvers||论文阅读

元学习论文总结||小样本学习论文总结

2017-2019年计算机视觉顶会文章收录 AAAI2017-2019 CVPR2017-2019 ECCV2018 ICCV2017-2019 ICLR2017-2019 NIPS2017-2019

---

这里摘抄一段评价：https://www.colabug.com/3795964.html

这篇文章的思路就和前面三篇的思路不一样了，采用我们通常理解的meta learning的问题设定，使用episodic training的方式。

那么基于Meta Learning的方式，这篇文章的idea核心在于如何提取training set中的X和Y的信息，并直接迁移到test-set中使用，也就是上图中的  的处理及下面  和 的处理。很显然的，我们可以使用最最简单粗暴的做法，直接构造一个带条件condition的神经网络f，使得

这样做的话也就是SNAIL的做法，由于SNAIL把网络弄的很大，并且使用了attention注意力机制，效果其实已经非常好，那么这篇文章就是我们能不能不那么粗暴的做，而改用数学一点的方式优雅的来做它。因此，这篇文章就构造了一个ridge regression的闭式解：

并通过一定的数学处理Woodbury formula，得到

然后  和 的处理就是直接点乘搞定。

通过数学的方式在这里最大的优势是降维，能够把高维的输入数据通过矩阵运算直接变成低维数据。

总的来说这篇文章就是提出了一种不同的处理先验知识（X和Y）的数学做法，有一定的用处，但是可能实际意义并没有那么大，效果上看也只能说一般。很值得考虑的一个问题就是纯粹用神经网络来学习先验知识难道不是更好吗？通过数学的方式人为的构造一种生成先验知识的方式是否有意义值得探讨。