李宏毅机器学习笔记——元学习Meta Learning

元学习Meta Learning:学习如何去学习。learn to learn.

机器学习步骤总结

第一步:
李宏毅机器学习笔记——元学习Meta Learning_第1张图片
第二步:
李宏毅机器学习笔记——元学习Meta Learning_第2张图片
第三步:
李宏毅机器学习笔记——元学习Meta Learning_第3张图片

元学习是什么

输入训练资料,通过方法,进行训练。学习这个方法。

利用以往的知识经验来指导新任务的学习,具有学会学习的能力。
李宏毅机器学习笔记——元学习Meta Learning_第4张图片
hand_crafted是人设定的意思。

元学习步骤

第一步:寻找方法
李宏毅机器学习笔记——元学习Meta Learning_第5张图片
要学的参数是Φ。之前这些component都是人定的,元学习里是求这些component.

第二步:计算Loss
李宏毅机器学习笔记——元学习Meta Learning_第6张图片
以往的机器学习是通过计算训练资料得出Loss,而元学习是通过训练任务里的测试资料计算:
李宏毅机器学习笔记——元学习Meta Learning_第7张图片
第三步:最优化使Loss最小
李宏毅机器学习笔记——元学习Meta Learning_第8张图片

注意这里是测试任务里的训练资料也作为输入,通过F方法,学习出classify,然后把这个classify用到测试任务里的测试资料上,得到结果。

训练任务是为了找出最优算法,测试任务是为了最终结果。

比较机器学习和元学习差异

在目的上面:
机器学习是找到f方法。
元学习的目的是找到可以“寻到f方法”的F方法。

李宏毅机器学习笔记——元学习Meta Learning_第9张图片
support set是训练资料,query set是测试资料。

在过程上面:
机器学习是任务内训练,元学习是跨任务学习。
李宏毅机器学习笔记——元学习Meta Learning_第10张图片
李宏毅机器学习笔记——元学习Meta Learning_第11张图片

outer loop和inner loop

within-task training又叫inner loop.
acros-task training又叫outer loop.
李宏毅机器学习笔记——元学习Meta Learning_第12张图片

机器学习和元学习相同点

李宏毅机器学习笔记——元学习Meta Learning_第13张图片

梯度下降法复习

李宏毅机器学习笔记——元学习Meta Learning_第14张图片

学习初始化

李宏毅机器学习笔记——元学习Meta Learning_第15张图片

你可能感兴趣的:(机器学习,机器学习,人工智能)