神经网络CNN的前向传播和后向传播

这里也来总结一下卷积层的前向和后向传播。

前向传播

假设第 l 层是卷积层， 卷积层前向的公式可表示如下：

其中，上标 l 代表层数， 代表激活函数，* 代表卷积运算， 是 l 层的卷积核， 是 l 层的偏置， 则是卷积层的输出，是卷积层的输入。

假设卷积层输入的图像宽度和高度分别为：, 通道数为, 则卷积层输入的维度为:

如果卷积核的大小表示为 : , 卷积核的个数表示为 K, 则卷积层的weight 的维度为：

假设卷积层输出的图像宽度和高度分别为：， 则卷积层的输出的维度为:

偏置 是一维的向量， 大小为K.

后向传播

如果l层是卷积层，已知卷积层的梯度, 则前一层l-1层的梯度公式如下：

⊙
其中， 的维度为 ： .
的维度为 ： .

卷积层输入的偏导为：

的维度为 ： .

卷积层权重的偏导为：

的维度为：

卷积层偏置的偏导为：为一维向量， 大小为K

偏置不是简单等同于, 需要对 在维度上求和。