CVPR2019| 亚洲微软研究院、阿德莱德论文：结构知识蒸馏应用语义分割

点上方蓝字计算机视觉联盟获取更多干货

在右上方 ··· 设为星标 ★，与你不见不散

今天介绍一篇来自阿德莱德大学、亚洲微软研究院、北航的CVPR2019关于语义分割的论文。

本文研究了利用大型网络训练小型语义分割网络的知识提取策略。我们从简单的像素蒸馏方案开始，它将图像分类所采用的蒸馏方案应用于图像分类，并对每个像素分别进行知识蒸馏。基于语义分割是一个结构化的预测问题，我们进一步提出将结构化知识从大网络提取到小网络。我们研究了两种结构化的蒸馏方案:(i)成对蒸馏，提取成对的相似性;(ii)整体蒸馏，使用GAN提取整体知识。通过对三种场景解析数据集Cityscapes、Camvid和ADE20K的大量实验，验证了知识提取方法的有效性。

介绍

语义分割是预测输入图像中每个像素的类别标签的问题。它是计算机视觉中的一项基础性工作，具有自动驾驶、视频监控、虚拟现实等多种现实应用。自全卷积神经网络(FCNs)[38]问世以来，深度神经网络一直是语义分割的主流解决方案。随后的DeepLab[5,6,7,48]、PSPNet[56]、OCNet[50]、Re- fineNet[23]、DenseASPP[46]等方法在分割精度上都取得了显著的提高，但往往模型繁琐，计算费用昂贵。

近年来，由于在移动设备上的应用需要，模型尺寸小、计算量小、分割精度高的神经网络受到了广泛的关注。目前的研究主要集中在设计轻量级的网络，专门用于分割或借鉴分类网络的设计，如ENet[31]、ESPNet[31]、ERFNet[34]和ICNet[55]。本文的研究方向是紧致分割网络，重点是利用冗余网络训练紧致网络，提高分割精度。

本文的主要贡献：

• 研究了用于训练精确紧凑语义分割网络的知识提取策略。

• 提出了两种结构化的知识精馏方案:成对精馏和整体精馏，在紧凑和繁琐的分割网络输出之间实现成对和高阶一致性

• 我们通过在三个基准数据集(Cityscapes[10]、CamVid[4]和ADE20K[58])上改进最近开发的最先进的紧凑细分网络ESPNet、MobileNetV2- Plus和ResNet18来证明我们的方法的有效性，如图1所示。

方法

本文的流程图：

实验和结果

论文地址：

https://arxiv.org/pdf/1903.04197.pdf

END

加群交流

欢迎加入CV联盟群了解CV和ML等领域前沿资讯

扫描添加CV联盟微信拉你进群，备注：CV联盟

热文荐读

最全中科大计算机学院课程资源（含答案）

必备收藏！超全 TensorFlow 代码集，随查随看！

【收藏】CMU、斯坦福等知名AI实验室、团队AI成果大盘点

近十年以来机器学习中最优秀的想法~一文带你领略GANs核心

卡内基·梅隆大学新提出AdaScale：自适应缩放实现视频对象实时检测算法

计算机视觉奠基人Alan L. Yuille ：深度学习在计算机视觉中作用有限，需要找到新的突破口！