2018-12-21神经网络 总结

首先，选择一个网络架构; 选择神经网络的布局，包括每层中有多少隐藏单位以及总共需要多少层。

神经网络框架

输出的结果是一个向量值，而不是单个常数。

每层隐藏单元数=通常越多越好，大于输入属性的个数（必须与计算成本平衡，因为它随着隐藏单元的增加而增加）

默认值：1个隐藏图层。 如果您有多个隐藏图层，则建议您在每个隐藏图层中具有相同数量的单位。

神经网络训练1

一开始的默认权值需要接近于0，但是不能全部等于0

神经网络训练2

第五步梯度检查证实之后需要取消，因为该步骤很大程度上会影响运行速度，拉低运行速度。

下图给出了在实现神经网络时所发生的事情的直观表示：

 不是凸函数，因此最终可以得到局部最小值。