一个神经网络的正向传播过程

 我们用一个网络为例，试图把一前向传播的每个细节说清楚，图中为了强调传递函数的矩阵表达，特意忽略了激活函数这一步骤，可以将其看成一个多层的线性网络。

要想把这个过程说清楚，首先需要将神经网络中各个参数用文字表达清楚,就是把图中的w和b以及上下标定义清楚.

对于形如

表示的是神经网络中第l-1层的第k个节点，向神经网络中第l层的第j个节点之间的权重，注意w的下标是首位表示的是节点后层节点的位置，末尾表示是前层节点的位置。理解这样的表达方式在后面的计算中会很好理解。

同理，b的表示相比于w要简单一些，符号

表示第l层网络在第j个节点的偏置。无论w还是b的表示，上标都是表示层数。并且

和

表示都是第l层网络第j个节点的参数。所以该节点的输出可以表示为：

也就是：

联立两式，即可得到输入和输出的关系：

以上就是神经网络的正向传递函数表达式。

基本上，不考虑非线性激活函数的情况下，每一个全连接层都是对输入向量的仿射变换，线性变换矩阵是权重矩阵，平移向量是偏置向量，全连接层是直接进行矩阵乘法得到当前层的输出。这和卷积层的计算是有所区别的。

结束！