前馈神经网络（Feedforward Neural Network，FNN）----最早发明的简单人工神 经网络

前馈神经网络的示例：

                              

        第0 层叫输入层，最后一层叫输出层，其它中间层叫做隐藏层。整个网络中无反馈，信号从输入层向输出层单向传播，可用一个有向无环图表示 。（每一层的神经元可以接收前一层神经元的信号，并产生信号输出到下一层）

前馈神经网络也经常称为多层感知器（Multi-Layer Perceptron，MLP）。

缺陷：

        前馈神经网络其实是由多层的Logistic回归模型（连续的非线性函数）组成，由多层的感知器（不连续的非线性函数）组成。

                                  

                                  

通用近似定理：  （参见 https://zhuanlan.zhihu.com/p/39030338    https://zhuanlan.zhihu.com/p/39334377）

        对于具有线性输出层和至少一个使用“挤压”性质的激活函数的隐藏层组成的前馈神经网络，只要其隐藏层神经元的数量足够，它可以以任意精度来近似任何从一个定义在实数空间中的有界闭集函数。

   在人工神经网络领域的数学观点中，「通用近似定理 (Universal approximation theorem，一译万能逼近定理)」指的是：如果一个前馈神经网络具有线性输出层和至少一层隐藏层，只要给予网络足够数量的神经元，便可以实现以足够高精度来逼近任意一个在 ℝn 的紧子集 (Compact subset) 上的连续函数。

           这一定理表明，只要给予了适当的参数，我们便可以通过简单的神经网络架构去拟合一些现实中非常有趣、复杂的函数。这一拟合能力也是神经网络架构能够完成现实世界中复杂任务的原因。尽管如此，此定理并没有涉及到这些参数的算法可学性 ( Algorithmic learnablity)。

                                  

参数学习：

               如果采用交叉熵损失函数，对于样本(x, y)，其损失函数为