[2022]李宏毅深度学习与机器学习第十五讲（必修）-Meta Learning

做笔记的目的

1、监督自己把50多个小时的视频看下去，所以每看一部分内容做一下笔记，我认为这是比较有意义的一件事情。
2、路漫漫其修远兮，学习是不断重复和积累的过程。怕自己看完视频不及时做笔记，学习效果不好，因此想着做笔记，提高学习效果。
3、因为刚刚入门深度学习，听课的过程中，理解难免有偏差，也希望各位大佬指正。

Meta Learning

工业界和学术界寻找超参数的方法并不相同。Meta Learning就是让机器去学习如何调参数。

Meta learning 也是三部曲，寻找方程定义损失，优化。


有一系列的训练任务

所有任务的Loss相加就成了meta learning的Loss

训练的单位是任务，所以可以用训练任务里的测试资料。

进行优化

整体框架：

ML vs meta learning

目标不同

训练资料也不同

Meta learning是Across-task Training


Loss设计的也不同

Meta Learning的运算量比较大，要训练很多模型。

同时ML很多理论可以直接用在meta learning上应用，如overfitting等等。

What is learnable in learning algorithm？

${\theta }^0$是可以训练的。


但是这个过程中也需要去调参，train meta learning的过程也要调参数。

很像Pre-training

也有一点像Domain adaptation

为什么效果好。

学习优化器

训练任务和测试任务应该不一样。

也可以训练模型架构NAS

可能需要用RL来学习。

RL举例子

也可以让架构可以微分。


也可以学习Data Augmentation

自动决定sample 的weight