TBC：Tied Block Convolution-即插即用 | Leaner and Better CNNs with Shared Thinner Filters

思想比较简单，参数量可以看出大幅度减少，推理速度优化方面还有待验证
https://arxiv.org/pdf/2009.12021.pdf

Abstract:

卷积是卷积神经网络（CNN）的主要构建块。 我们观察到，通道数量随着深度的增加而增加，优化的CNN通常具有高度相关的滤波器，从而降低了特征表示的表达能力。 我们提出了Tied Block Convolution（TBC），它在相等的通道块上共享相同的Thinner kernels，并使用单个滤波器产生多个响应。 TBC的概念还可以扩展到组卷积和全连接层，并且可以应用于各种骨干网和注意力模块。
我们对分类，检测，实例分割和注意力上进行的广泛实验表明，TBC在全面提升标准卷积和组卷积方面具有重要意义。 所提出的TiedSE注意模块甚至可以使用比SE模块少64倍的参数，以实现相同的性能。 特别是，标准CNN经常在存在遮挡的情况下无法准确地汇总信息，并导致多个冗余的部分目标proposal。 通过跨通道共享过滤器，TBC可以减少相关性并可以有效处理高度重叠的实例。 当遮挡率为80％时，TBC可将MS-COCO上物体检测的平均精度提高6％。

Motivation:

基于这样的一个发现，如上图所示，卷积网络随着深度的加深，其卷积核的相关性越来越强。冗余的卷积核意味着在减少卷积核的情况下，仍然可以充分表征特征。为了解决这种冗余的状况，作者提出了Tied Block Convolution(TBC)，它在相同的通道块上共享相同的Thinner kernels，并通过单个kernel产生多个响应。

Tied Block Convolution Network Design：

A.Standard Convolution

常规卷积如上图所示，对于输入为C x H x W的特征图，使用2个C X K X K的卷积核进行运算，得到2 X H X W的输出特征。2个卷积核的通道长度为C，且这2个卷积核不同。

B.Group Convolution

组卷积如上图所示，对于输入为C x H x W的特征图，相当于先将输入切分为2个 C/2 x H x W特征，然后分别使用2个C/2 X K X K的卷积核进行运算，得到2 X H X W的输出特征。与标准卷积的区别：2个卷积核的通道长度不再是C，随着分组的数目而变化。这2个卷积核本质上仍然是不同的。

C.Tied Block Convolution

基于Motivation的发现，卷积运算中卷积核实际是冗余的，意味着更少的卷积核也可以充分提取特征。因此Tied Block Convolution如上图所示，对于输入为C x H x W的特征图，相当于先将输入切分为2个 C/2 x H x W特征，然后使用共享的1个C/2 X K X K的卷积核进行运算，得到2 X H X W的输出特征。与组卷积区别：共享同一个卷积核参数，用1个卷积核去运算分组后的输入特征。

D.TBC构建的Bottleneck

TiedResNet->TiedResNext->TiedResNeSt

TiedSE->TiedGCB：

Experiments:

1.ImageNet Classification:

2.Object Detection: