ng Machine Learning课程笔记（3）——Neural Networks神经网络

动机：只是简单的增加二次项或者三次项之类的逻辑回归算法，并不是一个解决复杂非线性问题的好办法。因为当n很大时，将会产生非常多的特征项。

任何一个不是输出层或输入层的都被称为隐藏层。

如果把前面的输入层和隐藏层遮住，只剩下最后一个隐藏层和输出层，那么这个模型看起来就像是逻辑回归。只不过输入不再是特征x，变成了前面隐藏层的输出。因此，神经网络可以在前面的隐藏层中经过调整θ值（权重），计算出更好的特征，作为后面层的输入。也就是自主的选择特征。

从输入层的激励开始，向后面的隐藏层传播，直到输出层，就称为前向传播。

S型函数：

在z=4.6时，g(z)≈0.99，同样，z=-4.6时，g(z)≈0.01。

因此下面的神经网络实现了或（OR）运算：

下面是一个实现了同或XNOR的例子：

神经网络应用于分类任务时：

代价函数：

反向传播算法是从输出层把误差一层一层传递到输入层：

红色公式是向量化的表示。

前向传播和反向传播的直观表示：