PointMixer: MLP-Mixer for Point Cloud Understanding

Abstract

MLP-Mixer 最近崭露头角，成为对抗CNNs和Transformer领域的新挑战者。尽管相比Transformer更为简单，但通道混合MLPs和令牌混合MLPs的概念在图像识别任务中取得了显著的性能。与图像不同，点云本质上是稀疏、无序和不规则的，这限制了直接将MLP-Mixer用于点云理解。为了克服这些限制，我们提出了PointMixer，这是一个通用的点集操作符，促进在非结构化的3D点云之间共享信息。通过简单地用Softmax函数替换令牌混合MLPs，PointMixer可以在点集内/间“混合”特征。通过这样做，PointMixer可以广泛用于集内、集间和分层集的混合。我们证明，在许多点集中进行各种通道-wise特征聚合在参数效率和准确性方面优于自注意层或密集令牌-wise交互。大量实验证明PointMixer在语义分割、分类和重建方面相对于基于Transformer的方法具有竞争力或更优越的性能。

3 Method

在本节中，我们描述了我们的PointMixer设计的详细信息。为了清晰起见，我们将MLP-Mixer的一般公式与代表性的基于点的方法进行比较，如PointNet++和Point Transformer（第3.1节）。然后，我们检查MLP-Mixer是否与点集操作符相关（第3.2节）。最后，我们介绍了我们的PointMixer层（第3.3节），该层被采用在我们整个网络中（第3.4节）。