关于group convolution 和 depth-wise separable convolution的理解

整体可以参考这里
以下是我的个人理解的补充，方便日后回顾

• normal convolution：普通卷积对于每一个输入channel都提供一套卷积参数，例如卷积核为$K\ast K$，输出channel为$C_{out}$，则对于每一个输入channel，卷积参数为$K\ast K\ast C_{out}$。因此如果输入channel为$C_{in}$，则全部参数为$C_{in}\ast K\ast K\ast C_{out}$。
• group convolution：对于分组卷积，他将输入分组为$G$组，每组共享卷积参数，因此他卷积的全部参数仅为$(C_{in}/G)\ast K\ast K\ast C_{out}$。
• depth-wise separable convolution：第一层卷积：separable convolution，输入channel等于输出channel，相当于深度没有增加，但是每个channel的height和width会有依据kernel_size所改变。第二层卷积：point convolution，$C_{out}$可以自定义，而kernel_size固定为1*1，从而增加卷积深度。依照这样的方法，可以得到和normal convolution相同的输出，参数量减少； 相比于group convolution， 卷积核也操作到了输入的每一层chanel。