深层神经网络的正向传播与反向传播，深层神经网络优于浅层神经网络程度原因，超参数与参数

正向传播表达式：

反向传播表达式：

 

 

参数维度：

单例中  正向传播和反向传播中的参数维度分别是：

 多例中  正向传播和反向传播中的参数维度分别是：

 深层神经网络优于浅层神经网络程度原因：

1.如果隐藏层足够多，那么能够提取的特征就越丰富、越复杂，模型的准确率就会越高

2.深层网络还有另外一个优点，就是能够减少神经元个数，从而减少计算量。

尽管深度学习有着非常显著的优势，Andrew还是建议对实际问题进行建模时，尽量先选择层数少的神经网络模型，这也符合奥卡姆剃刀定律（Occam’s Razor）。对于比较复杂的问题，再使用较深的神经网络模型。

流程块图来解释神经网络正向传播和反向传播过程：

 超参数与参数

神经网络中的参数就是我们熟悉的W[l]和b[l]。而超参数则是例如学习速率α，训练迭代次数N，神经网络层数L，各层神经元个数n[l]，激活函数g(z)等。之所以叫做超参数的原因是它们决定了参数W[l]和b[l]的值。

如何设置最优的超参数是一个比较困难的、需要经验知识的问题。通常的做法是选择超参数一定范围内的值，分别代入神经网络进行训练，测试cost function随着迭代次数增加的变化，根据结果选择cost function最小时对应的超参数值。这类似于validation的方法。