神经网络不收敛的 11 个原因，加实践感悟

神经网络不收敛的 11 个原因，加实践感悟

如果有说法不妥的，还望在评论区留言指点，切磋交流，十分感谢!

网上有朋友的博客：https://blog.csdn.net/lc013/article/details/116401778

列举了神经网络不收敛的 11 个原因及其解决办法

如果你的神经网络不收敛，应该怎么办呢？一般来说，神经网络不收敛的原因有以下 11 种原因：

1. 忘记对你的数据进行归一化
2. 忘记检查输出结果
3. 没有对数据进行预处理
4. 没有使用任何的正则化方法
5. 使用了一个太大的 batch size
6. 使用一个错误的学习率
7. 在最后一层使用错误的激活函数
8. 网络包含坏的梯度
9. 网络权重没有正确的初始化
10. 使用了一个太深的神经网络
11. 隐藏层神经元数量设置不正确

接下来将一一解释以上11 种原因并给出对应的解决办法；

---

1. 忘记对你的数据进行归一化

问题描述

在神经网络训练中，如何对你的数据进行归一化是非常重要的。这是一个不能省略的步骤，几乎不可能在不进行归一化的前提下可以训练得到一个很好的网络模型。不过正因为这个步骤非常重要，而且在深度学习社区也很有名，所以很少人会提到它，但是对于初学者则是可能会犯下的一个错误。

原因

我们需要对数据进行归一化操作的原因