【文章阅读】Submanifold Sparse Convolutional Networks

Brief

 最近看到很多的卷积结构都采用了subm层，很好奇这是个什么结构，然后无意间看到了这一篇文章，应该就是目前比较通用的结构。例如目前在榜单前3名的$pa{r}^2$的如下结构，采用的就是这种单元结构搭建的。

Abstruct

目前的卷积网络都是用于对密集表达的处理，但是很多数据都是稀疏的；因此作者提出的稀疏卷积操作用于处理稀疏点，作者指出该就够的卷积仅仅是在子流行结构上操作，而不是对网络的每一层进行扩张

1 Introduction

• 卷积在很多密集数据中取得了很多的成功，因此很多结构都直接采用先转化为密集表达的形式。但是grid的表示对高纬度的数据而言，会出现维度灾难的
• 目前的一些规整化网络：FLOPs，OctNets等，但是这里作者指出此等网络的问题“dilate” the sparse data in every layer

什么是“dilate” the sparse data in every layer,我的理解是，卷积实际上是一种心态学操作，每一层的卷积都会在上一层的基础上扩大空间信息域。但是这有什么弊端吗，我反而觉得这样可以做到信息传递的作用。

• 作者的工作就是在不改变稀疏度的基础上，实现稀疏卷积。也就是只对有值的位置坐卷积。
• 采用这种结构，最终可以以减少50%的空间消耗。

2 Motivation

• 作者表示，虽然有了一些稀疏卷积的工作，但是实际 上卷积的操作并没有被改变以适应稀疏点云的特性

In this paper, we argue that the framework described above is unduly restrictive, in particular, because the convolution operation has not been modified to accommodate the sparsity of the input data.

2.1 Submanifold Dilation

• 作者首先解释了一下目前的膨胀稀疏卷积的问题，如下图，如果说对图一采用以前的稀疏卷积的形式，那么作一次$3\times 3$的卷积后，就会丢失一些稀疏特性，再做一次，稀疏行就会更少了。特征就不会捕捉到该流型结构。
  

2.2 Very Deep Convolutional Networks

• 在卷积中，一般小的核比较适用于深层的网络结构，比如一些VGG，ResNet等结构，但是作者指出，这些结构都不能适用当前的稀疏卷积去实现，就是因为深度过深导致了感受野更大，随后模糊信息更严重，稀疏性减少，流型结构丢失。

3 (Valid) Sparse Convolutions: SC and VSC

SC

作者给出了SC结构$(m,n,f,s)$，表示含义{m的输入维度，n个输出维度，f为核大小，s表示stride}，同样SC支持了非方形的核结构，（可以用于实现inception的结构）

• 和一般的卷积最大的区别在于。如果一开始输入的数据中该ground state是 non-active的，那么最后的输出也是non-active的。

An SC convolution differs from a regular convolution in that it discards the ground state for non-active
sites by assuming that the input from those sites is exactly zero.

VSC

• VSC结构是通过SC结构修改过来的，对于SC而言，可以出现输出的fea-map的大小和输入的不一样，但是对VSC来说则是一样的。作者首先是进行的一个padding操作，接着也限制了那些仅仅是只有在输入是active的，输出才能是activate。

内存占用

3.1 Submanifold Convolutional Networks

作者采用这个设计的模块搭建二维中常用的block如下：