深度学习笔记—模型优化

[问题]

深度模型中的优化问题部分

1.牛顿法

• 神经网络中最广泛使用的二阶方法：牛顿法

• 牛顿法解决了哪些问题？

二阶方法 → 一阶的导数？

• 牛顿法有哪些问题？

1)会受到目标函数的某些特征带来的挑战

2)每次训练迭代，导致参数的改变，需要进行重新计算

导致 → 只有参数很少的网络才能在实际中用牛顿法来训练

还有，当目标函数的表面非常凸，如有鞍点的情况 → 使用牛顿法会有问题

2.共轭梯度

• 最速下降方法有什么弱点？

• 线搜索是什么？

• 共轭梯度解决哪些问题？

在当前梯度方向下降到极小值时，必须重新最小化之前在梯度方向上的目标 → 会撤销之前线搜索方向上取得的进展

• 如何解决？

寻求一个和先前线搜索方向共轭的搜索方向

• 批方法？

• 非线性共轭梯度都做什么？

对线性共轭梯度算法的查缺补漏？

3.优化策略和元算法

• 批标准化解决了哪些问题？

试图解决训练模型深的问题 → 深的模型会带来多个函数或层的组合

答案为使用批标准化方法

• 批标准化的好处是什么？

1)恢复了零均值 + 单位方差的特性

2)保持着单位高斯

3)减少每次更新所带来的影响

4)使得模型的学习更容易

• 除了批标准化之外还有若干其他的方法 + 策略

1)坐标下降

2)监督预训练：贪心监督预训练

3)延拓法