全连接神经网络（FCNN）

全连接神经网络（Fully Connected Neural Network），CNN、RNN、LSTM等各种神经网络都是基于全连接神经网络出发的，最基础的原理都是由反向传播而来。

1、全连接神经网络原理

全连接神经网络示意图：

全连接神经网络模型是一种多层感知机(MLP)，感知机的原理是寻找类别间最合理、最具有鲁棒性的超平面，最具代表的感知机是SVM支持向量机算法。

反向传播

神经网络的训练是有监督的学习，也就是输入X 有着与之对应的真实值Y ，神经网络的输出Y 与真实值Y 之间的损失Loss 就是网络反向传播的东西。整个网络的训练过程就是不断缩小损失Loss 的过程。

然后就是求解过程：我们可以将整个求解过程看做下山（求偏导过程），为此，我们先初始化自己的初始位置。

这样我们不断地往下走（迭代），当我们逐渐接近山底的时候，每次更新的步伐也就越来越小，损失值也就越来越小，直到达到某个阈值或迭代次数时，停止训练，这样找到 就是我们要求的解。

我们将整个求解过程称为梯度下降求解法。

如果用全连接神经网络处理大尺寸图像具有三个明显的缺点：

（1）首先将图像展开为向量会丢失空间信息；

（2）其次参数过多效率低下，训练困难；

（3）同时大量的参数也很快会导致网络过拟合。

而使用卷积神经网络（CNN）可以很好地解决上面的三个问题。

参考：卷积神经网络（CNN）详解 - 知乎 (zhihu.com)

深度学习开端｜全连接神经网络 - 知乎 (zhihu.com)