NNDL 作业7：第五章课后题（1×1 卷积核 | CNN BP）
习题5-2 证明宽卷积具有交换性。
和一个二维卷积核
可以看出来我们得到的结果是一样的。所以交换律成立。
习题5-3 分析卷积神经网络中用1×1的卷积核的作用。
1、升降维
1x1卷积核可以通过控制卷积核数量实现降维或升维。
从卷积层流程图中可以清楚的看到 卷积后的特征图通道数与卷积核的个数是相同的。所以，如果想要升维或降维，只需要通过修改卷积核的个数即可。
2、跨通道信息交互（channal 的变换）
使用1x 1卷积核，实现降维和升维的操作其实就是channel间信息的线性组合变化，3x 3，64channels的卷积核后面添加一个1x 1，28channels的卷积核，就变成了3x 3，28channels的卷积核，原来的64个channels就可以理解为跨通道线性组合变成了28channels，这就是通道间的信息交互。
3、增加网络深度（增加非线性）
每使用 1x1卷积核，及增加一层卷积层，所以网络深度得以增加。 而使用 1x1卷积核后，可以保持特征图大小与输入尺寸相同，卷积层卷积过程会包含一个激活函数，从而增加了非线性。
在输入尺寸不发生改变的情况下而增加了非线性，所以会增加整个网络的表达能力。
习题5-4 对于一个输入为100×100×256的特征映射组，使用3×3的卷积核，输出为100×100×256的特征映射组的卷积层，求其时间和空间复杂度。如果引入一个1×1的卷积核，先得到100×100×64的特征映射，再进行3×3的卷积，得到100×100×256的特征映射组，求其时间和空间复杂度。
（1）
时间复杂度：256×100×100×256×3×3 = 5,898,240,000
空间复杂度：256×100×100 = 2,560,000
（2）
时间复杂度：64×100×100×256 + 256×100×100×64×3×3 = 1,638,400,000
空间复杂度：64×100×100 + 256×100×100 = 3,200,000
习题5-7 忽略激活函数，分析卷积网络中卷积层的前向计算和反向传播是一种转置关系。
以一个3×3的卷积核为例，输入为X输出为Y
将4×4的输入特征展开为16×1的矩阵，y展开为4×1的矩阵，将卷积计算转化为矩阵相乘
由
而
即
所以
再看一下上面的Y=CX可以发现忽略激活函数时卷积网络中卷积层的前向计算和反向传播是一种转置关系。
CNN反向传播推到
首先简单回顾一下一般的前馈神经网络的反向传播：
对于卷积层的反向传播，我们首先回忆下卷积层的前向传播公式：
卷积层和汇聚层中误差项的计算有所不同，因此我们分别计算其误差项。
汇聚层
没有参数，反向传播时，不需权值更新。
卷积层
总结：
这次的作业先是证明了卷积交换律。不得不说手打公式太累了，还有卷积的计算，在电脑上打一遍，纸上算一遍，然后再跟电脑上对照一遍发现有的算错了，改过来以后又验证了一遍，眼镜都要看瞎了。不过还是值得的，比较要证明一个公式，只是把数带进去的话就有点投机取巧了，用变量才能更好的理解。
然后就是1×1卷积核的作用，原来只知道可以升降维和增加深度，这次经过资料的查阅发现了跨通道信息交互这个作用，收获不小。
还有卷积层的前向计算和反向传播是一种转置关系的证明也是一点一点公式打出来，不过这个比较简单，量也少一点。
最后就是CNN反向传播的推到，读懂了书上和老师给的ppt后照着在纸上手写一遍确实加深了印象，不过写的比较潦草，为了方便以后阅读就直接把书上和ppt上的搬过来了。
参考链接：
(28条消息) 1×1卷积核的作用_郭小花不爱吃香菜的博客-CSDN博客_卷积核的作用