三、深层神经网络

三、深层神经网络

1.为什么需要深层？

在较深的隐藏层中，能够将基础特征组合成较为复杂的特征组合。

2.参数和超参数

参数：即W和b

超参数：

• 学习率
• 循环的次数
• 隐藏层数目
• 激活函数
• 正则化
• batch size
• ……..

超参数的取值会决定W和b 的值，从而影响神经网络的效果以及其训练速度等。

超参数的设定往往需要根据经验取一个合适的值，然后根据应用效果、调整目标等进行更新来优化神经网络。

3.深层神经网络的实现

其实跟浅层神经网络没有什么差异，只是需要进行的运算步骤比较多而已。

但是要在实现矩阵运算的时候注意矩阵之间的shape是否匹配，可以有效避免很多bug。