深度学习:什么是模型收敛？

理解

打个简单的比方,训练网络,就好比解方程,为了得到这个方程的极值点,训练的过程就好比是找准一个方向,不断的朝这个方向靠近,使得方程的值不断减小,最终达到极值点,而不收敛,就是,不论你怎么跑,方程的解都不减小.即达不到最后的极值点.在loss上就表现为稳定性的比较大.跟迭代不收敛或者系统不稳定差不多，上下波动不能趋近一个定值。

可能原因

网络不收敛直观体现是loss函数无法下降，本质上是网络或者训练方法有问题，包括bachsize尺寸，是否数据归一化，学习率设计，初始化权重等，这些都需要检查一下。

参考链接：https://www.cnblogs.com/cindycindy/p/13470925.html