随机梯度下降与卷积神经网络

为什么80%的码农都做不了架构师?>>>   hot3.png

随机梯度下降与卷积神经网络_第1张图片 本文由码农场同步,最新版本请查看原文:http://www.hankcs.com/ml/sgd-cnn.html
随机梯度下降与卷积神经网络_第2张图片
斯坦福UFLDL中CNN剩下两章的笔记,辅以两次编程练习,至此完成了CNN的学习。梯度下降概述诸如L-BFGS之类的批优化方法每次更新都使用整个训练集,能够收敛到局部最优。因为要设置的超参数很少,所以很好用,matlab里也有许多类似minFunc之类开箱即用的实现。但实践中计算整个训练集的损失函数和梯度是很慢的,极端情况下甚至无法把整个数据集装进单机内存里。批优化的另一个短处是无法在线处理新数据。随机梯度下降( $SGD$ )解决了这两个问题,在跑了单个或者少量的训练样本后,便可沿着目标函数的负梯度更新参...

继续阅读:码农场 » 随机梯度下降与卷积神经网络

原文链接:http://www.hankcs.com/ml/sgd-cnn.html


感谢阅读本文,欢迎 查看原文或访问 码农场 获取更多内容

转载于:https://my.oschina.net/hankcs/blog/869573

你可能感兴趣的:(随机梯度下降与卷积神经网络)