CVPR2019| 亚洲微软研究院、阿德莱德论文:结构知识蒸馏应用语义分割

点上方蓝字计算机视觉联盟获取更多干货

在右上方 ··· 设为星标 ★,与你不见不散

今天介绍一篇来自阿德莱德大学、亚洲微软研究院、北航的CVPR2019关于语义分割的论文。

CVPR2019| 亚洲微软研究院、阿德莱德论文:结构知识蒸馏应用语义分割_第1张图片

本文研究了利用大型网络训练小型语义分割网络的知识提取策略。我们从简单的像素蒸馏方案开始,它将图像分类所采用的蒸馏方案应用于图像分类,并对每个像素分别进行知识蒸馏。基于语义分割是一个结构化的预测问题,我们进一步提出将结构化知识从大网络提取到小网络。我们研究了两种结构化的蒸馏方案:(i)成对蒸馏,提取成对的相似性;(ii)整体蒸馏,使用GAN提取整体知识。通过对三种场景解析数据集Cityscapes、Camvid和ADE20K的大量实验,验证了知识提取方法的有效性。

介绍

语义分割是预测输入图像中每个像素的类别标签的问题。它是计算机视觉中的一项基础性工作,具有自动驾驶、视频监控、虚拟现实等多种现实应用。自全卷积神经网络(FCNs)[38]问世以来,深度神经网络一直是语义分割的主流解决方案。随后的DeepLab[5,6,7,48]、PSPNet[56]、OCNet[50]、Re- fineNet[23]、DenseASPP[46]等方法在分割精度上都取得了显著的提高,但往往模型繁琐,计算费用昂贵。

近年来,由于在移动设备上的应用需要,模型尺寸小、计算量小、分割精度高的神经网络受到了广泛的关注。目前的研究主要集中在设计轻量级的网络,专门用于分割或借鉴分类网络的设计,如ENet[31]、ESPNet[31]、ERFNet[34]和ICNet[55]。本文的研究方向是紧致分割网络,重点是利用冗余网络训练紧致网络,提高分割精度

本文的主要贡献:

  • 研究了用于训练精确紧凑语义分割网络的知识提取策略。

  • 提出了两种结构化的知识精馏方案:成对精馏和整体精馏,在紧凑和繁琐的分割网络输出之间实现成对和高阶一致性

  • 我们通过在三个基准数据集(Cityscapes[10]、CamVid[4]和ADE20K[58])上改进最近开发的最先进的紧凑细分网络ESPNet、MobileNetV2- Plus和ResNet18来证明我们的方法的有效性,如图1所示。

CVPR2019| 亚洲微软研究院、阿德莱德论文:结构知识蒸馏应用语义分割_第2张图片

方法

本文的流程图:

CVPR2019| 亚洲微软研究院、阿德莱德论文:结构知识蒸馏应用语义分割_第3张图片

实验和结果

CVPR2019| 亚洲微软研究院、阿德莱德论文:结构知识蒸馏应用语义分割_第4张图片

CVPR2019| 亚洲微软研究院、阿德莱德论文:结构知识蒸馏应用语义分割_第5张图片

CVPR2019| 亚洲微软研究院、阿德莱德论文:结构知识蒸馏应用语义分割_第6张图片

CVPR2019| 亚洲微软研究院、阿德莱德论文:结构知识蒸馏应用语义分割_第7张图片

论文地址:

https://arxiv.org/pdf/1903.04197.pdf

END

加群交流

欢迎加入CV联盟群了解CV和ML等领域前沿资讯

扫描添加CV联盟微信拉你进群,备注:CV联盟

热文荐读

最全中科大计算机学院课程资源(含答案)

必备收藏!超全 TensorFlow 代码集,随查随看!

【收藏】CMU、斯坦福等知名AI实验室、团队AI成果大盘点

近十年以来机器学习中最优秀的想法~一文带你领略GANs核心

卡内基·梅隆大学新提出AdaScale:自适应缩放实现视频对象实时检测算法

计算机视觉奠基人Alan L. Yuille :深度学习在计算机视觉中作用有限,需要找到新的突破口!

你可能感兴趣的:(神经网络,人工智能,计算机视觉,深度学习,机器学习)