Curriculum Learning

Curriculum Learning, ICML, 2009


要点

1、训练策略形式化,显著提高泛化能力,更快的收敛速度
2、假设:精心选择的课程策略可以作为一种连续方法(continuation method)——能够帮助找到更好的非凸训练准则的局部最小值
3、实验证明,课程策略类似于正则器,增益效果在测试集上更为明显,可以加速训练收敛到全局最小值
4、


相关工作

深度神经网络训练的难优化问题

1、深度学习方法尝试学习特征层次结构,认为高级别特征是由低级别特征组成的
2、自动学习多个抽象级别可以使模型获得输入映射到输出的复杂函数(不依赖于人工特征)
3、

图表

计算架构

给定前一个样本,深度神经网络计算下一个样本分数的架构

Curriculum Learning_第1张图片


代码

你可能感兴趣的:(文献阅读笔记,人工智能,python)