李沐——卷积层

重新考察全连接层

在以往的全连接层，输入是一个n维向量，但是在隐藏层我们输出的是k维，二者并没有关系。这一操作使用矩阵w来实现，可以理解为w改变了x的形状

那么我们考虑二维输入k*l，在隐藏层我们会用W改变Xk*l变成Hi*j，我们确实无法理解高维，但是在这里我们可以思考一个矩阵，Wijkl。它施加的变换能使X_k*l变成H_i*j。这里我们使用类比推理的思想，k*l理解为原来的输入n。

 这就用了简单的换元：k=i+a，A

平移不变性&局部性

对于CNN，我们不希望x变化时，V也跟着变化，V可以理解为分类器，我的x不管在哪，v都会感知它，也就是说一个neural监视很多区域。参数共享。

好了，我们需要平移不变性，假如是x的a，b变化，那么h的i，j根本不变。那么看来只有i，j变化才能满足平移不变性，但是此时v又会变化，而我们是不需要v变化的，所以我们只能提出上述解决方案。但v依旧是四维tensor，只不过我们把i，j常数化。

举个例子的话，X（i+a，j+b）=X&