Paper reading：CubeNet: Equivariance to 3D Rotation and Translation

标题：CubeNet:Equivariance to 3D Rotation and Translation

作者：Daniel Worrall and Gabriel Brostow，Computer Science Department, University College London,UK

联系方式：{fd.worrall,g.brostowg}@cs.ucl.ac.uk

今天介绍的文章是“CubeNet:
Equivariance to 3D Rotation and Translation”——立方网络: 与三维旋转和平移的等价性。3D卷积神经网络对其输入的变换是敏感的。这会存在一个问题，如果我们将一个体素化的3D对象和它对应旋转后的版本传递到网络的最后一层，两者看起来是无关的。相反，理想化的模型将保留体素化对象的有意义的表达形式，同时也可以解释两个输入之间的姿态差异。一个等价变化的表示向量有两个组成部分：不变的身份部分和一个变换的可辨别编码。无法解释姿态差异的模型，在追求优化分类或回归损失函数时，有可能“稀释”表示。

作者引入了一个群体卷积神经网络，其线性等效于三维平移和直角旋转。作者称这个网络为CubeNet（立方网络），反应了立方体的对称性。通过构造，这个网络在通过连续层转换时，有助于保留3D形状的全局和局部的特征。我们将此网络应用于各种3D推理问题，在ModelNet10数据集和ISBI 2012 Connectome Segmentation
Benchmark获得比较好的成绩。作者称，这是第一个用于体素表示的3D旋转等效CNN。

如图1所示，在左侧，作者展示的是标准的卷积公式，滑动滤波器W和输入块F之间的标准2D卷积。在右侧，作者显示了2D直角旋转卷积（称为Z4卷积）。

图4显示了作者在实验中的网络结构。作者使用类似VGG的网络结构来进行ModelNet10的分类挑战，使用类似UNet/FusionNet的网络结构类进行ISBI2012边界分割的数据集。

我们来看下作者在ModelNet10上的实验效果。ModelNet10包含4095个CAD模型，总共有10类，训练集为3991，测试集为914。每个模型与标准框架对齐，然后在Z轴上的12个均匀采样方向上旋转。这些旋转的模型的大小为32x32x32。

表格2显示，在ModelNet10数据集上的结果。作者和其它使用体素表示数据的方法进行比较，只有一个方法的结果比作者的好，但是Brock等人的方法集合了6个模型。如果只限制单个模型，作者的结果就是暂时最好的。

ISBI 2012挑战是一个体素边界分割的基准。任务是从串行切片透射电子显微镜（EM）图像中分割果蝇腹侧神经索。

总的说来，作者提出了一种3D卷积神经网络架构，它与三维直角旋转等效，这依赖于将标准卷积扩展到3D旋转O(∩_∩)O