组卷积（group convolution）的理解

分组是日常生活中一种常见现象，如基于年龄分为幼年、儿童、青少年、青年、中年和老年等。在机器学习中，聚类算法的本质思想也是分组，即把未知数据基于一些特性分成一个个组，便于人们理解。在深度学习用到组思想的一个地方就是组卷积。

组卷积最早出现是在AleNet，当初主要采用并行训练方式来训练。后来研究学者基于卷积的基本计算方式广义线性方程（或多元多项式方程）发现，当卷积网络中卷积核个数增多时，会出现卷积冗余现象，这种现象在线性回归方程中也存在，为了缓解这个问题，研究学者尝试把同一卷积层中的卷积核个数分成一个个不同的小组 （分而治之思想），即现在大部分学术论文称作的组卷积，每个小组中具有不同和相同的卷积核数量。基于我个人的理解，组卷积具有以下特点：

1、降低模型的计算量（压缩模型），可以参考Interleaved Group Convolutions for Deep Neural Networks系列论文，MobileNet系列论文；

2、提高模型精度，可以参考Aggregated Residual Transformations for Deep Neural Networks（RexNet），Selective Kernel Networks，Xception

3、模型综合性能权衡，组卷积计算方式相当于多分支，这个方向最近也有不少论文，HetConv: Heterogeneous Kernel-Based Convolutions for Deep CNNs，High-Resolution Representations for Labeling Pixels and Regions，Accurate Nuclear Segmentation with Center Vector Encoding