【李宏毅-元学习】

一、基本概念

1、元学习:学习如何学习,超参数调整

【李宏毅-元学习】_第1张图片

2、机器学习和元学习

机器学习:定义函数(未知参数)-定义损失函数-优化(最小化损失函数)

【李宏毅-元学习】_第2张图片

3、什么是元学习

机器学习通过三个步骤找到了学习算法

元学习是否也可以找到学习算法?

【李宏毅-元学习】_第3张图片

首先,明确什么是可学习的,如网络架构、初始化参数、学习率

第二,损失函数

手段:训练任务里有训练资料也有测试资料

多适用于多任务

第三,优化 L(φ)

目标:测试任务里有训练资料也有测试资料,这是我们关心的

与小样本网络的不同
【李宏毅-元学习】_第4张图片【李宏毅-元学习】_第5张图片

【李宏毅-元学习】_第6张图片【李宏毅-元学习】_第7张图片

【李宏毅-元学习】_第8张图片【李宏毅-元学习】_第9张图片

4、机器学习和元学习

【李宏毅-元学习】_第10张图片【李宏毅-元学习】_第11张图片

【李宏毅-元学习】_第12张图片  【李宏毅-元学习】_第13张图片

【李宏毅-元学习】_第14张图片【李宏毅-元学习】_第15张图片

元学习的问题:

【李宏毅-元学习】_第16张图片

二、元学习在学什么

【李宏毅-元学习】_第17张图片

【李宏毅-元学习】_第18张图片

【李宏毅-元学习】_第19张图片

  • MAML 有标注资料
  • 自监督学习 无标注资料

【李宏毅-元学习】_第20张图片

【李宏毅-元学习】_第21张图片

【李宏毅-元学习】_第22张图片

【李宏毅-元学习】_第23张图片

【李宏毅-元学习】_第24张图片

【李宏毅-元学习】_第25张图片

【李宏毅-元学习】_第26张图片

你可能感兴趣的:(学习)