CVPR 2021 预讲 · 华为诺亚专场，5 篇精华报告，覆盖NAS、蒸馏、检测和降噪

国际计算机视觉与模式识别会议（CVPR）是计算机视觉领域三大顶会之一（另外两个分别为ICCV、ECCV）。作为计算机视觉领域一年一度的盛会，CVPR每年接收论文的情况，基本可以代表一年中计算机视觉领域的发展趋势。CVPR 2021 大会将于6月19日至 25日线上举行，中国科学院院士谭铁牛将担任 CVPR 2021 四位大会主席之一。今年CVPR 共有7015篇有效投稿，其中进入Decision Making阶段的共有约5900篇，最终有1663篇突出重围被接收，录用率大概为23.7%（1663/7015）。

 

 

为促进同行之间的交流与合作，智源社区将举办系列CVPR 2021预讲报告，其中实验室系列将汇聚国内顶尖高校和企业实验室的研究人员为大家分享其最新研究成果。

 

在本届CVPR会议中，华为诺亚方舟实验室有近 30 篇文章被录用，智源社区特邀请实验室的多位研究人员，做 「CVPR 预讲·华为诺亚专场」报告。

活动主题：CVPR预讲 · 华为诺亚专场

活动时间：2021年3月16日（周二）晚7点

形式：线上直播（Zoom + 智源社区Hub + 智源社区B站）

活动议程：

报告内容详细介绍

---

 

专场主持人：王云鹤，华为诺亚方舟实验室高级研究员

 

 

---

报告主题 1 ：ReNAS: Relativistic Evaluation of Neural Architecture Search

讲者：许奕星，华为诺亚方舟实验室研究员

报告简介：一个有效的神经网络结构性能评估方案是神经网络结构搜索(NAS)成功的关键。为了节省计算成本，现有的大多数NAS算法通常在训练时间有限的小型代理数据集上训练和评估中间神经结构。但是，以这样一种粗糙的评估方式，很难期望对神经网络结构进行准确的性能评估。本文提出了一种新的神经网络结构评价方案，旨在确定哪个神经网络结构的性能更好，而不是精确地预测性能绝对值。因此，我们提出了一个结构相对性能预测NAS (ReNAS)。我们将神经结构编码为特征张量，并利用预测器进一步细化表示。所提出的相对性能预测器可用于离散搜索方法中，无需额外评估。在NAS-Bench-101数据集上的实验结果表明，抽样424个(整个搜索空间的0.1%)神经架构及其相应的性能表现标签已经足够学习一个准确的架构性能预测器。在NAS-Bench-101和NAS-Bench-201数据集上，我们搜索的神经结构的准确性高于最新的方法，显示了本方法的优先性。

---

 

报告主题 2：Joint-DetNAS: Upgrade Your Detector with NAS, Pruning and Dynamic Distillation

讲者：徐航，华为诺亚方舟实验室研究员

报告简介：Joint-DetNAS是一个融合了NAS、剪枝以及蒸馏的目标检测模型优化算法，由两个主要部分组成：a) 构建弹性教师模型池：通过一次渐进式收缩训练获得大量高质量模型，用于支撑教师模型搜索b) 学生-教师网络联合优化：通过交迭搜索，动态寻找最优蒸馏组合。学生网络采用Network Morphism策略， 有效融合模型结构演化和剪枝技术。算法直接输出学生模型作为结果，无需额外训练。Joint-DetNAS搜索高效且优化效果显著：如对于R101-FPN模型，在FPS及FLOPS优化 50%的情况下，仍能有2.5%的AP提升。

---

报告主题3：Neighbor2Neighbor: Self-Supervised Denoising from Single Noisy Images

讲者：李松江，华为诺亚方舟实验室研究员

 

报告简介：传统的基于学习的图像降噪方法往往需要构造noisy-clean图像配对进行训练，在真实拍照场景中构造训练配对是十分困难的；而现有的无需noisy-clean配对的自监督图像降噪方法往往带有额外的约束，这些约束极大地限制了自监督降噪方法的落地应用。在本文中，我们提出了Neighbor2Neighbor：通过近邻采样，从noisy图像采样出两张“相似但不相同”的子图，构成neighbor-neighbor配对来训练降噪网络；同时，在损失函数中引入正则项来修正两张近邻子图“相似但不相同”导致的过度平滑问题。本方法通过简单的训练策略，仅需noisy数据集即可训练任意降噪网络，在RGB域合成噪声图像和RAW域真实含噪图像数据集上均表现出优秀的降噪效果，性能接近noisy-clean图像配对训练的模型。相比于现有的自监督图像降噪方法，本方法无需noisy-clean配对、无需同一场景多张独立noisy图像、无需改造网络结构、无需估计噪声参数后处理、无需每张图像训练一个网络，在暗光人脸拍照、夜间户外拍照、医学图像降噪等场景具有较高的应用潜力。

 

---

报告主题 4：Focus on Local: Detecting Lane Marker from Bottom Up via Key Point

讲者：金欢，华为诺亚方舟实验室研究员

报告简介：当前车道线检测的主流方向可以分为基于分割和基于检测两大类。其中基于分割的方法生成像素级的语义信息并通过聚类生成不同的实例曲线，基于检测的方法由每个锚点预测整根曲线，这两种方法都直接建模全局信息，远端位置预测不准。受到人体位姿估计方法的启发，我们首次将车道线检测转化为局部关键点估计及其关联问题，并通过由粗到细的方法微调整根曲线。该方法不依赖于网络结构，可以很容易地嵌入更新的网络模型中去，在精度和效率上具有可扩展的潜力。我们采用两个非常轻量化的模型，在车道线检测业界两大标准公开数据集CULane和TuSimple上就取得了新的SOTA结果。综上，我们的方法证明位姿估计方法在车道线检测中的应用潜力，为解决这一问题开辟了新的方向。

---

报告主题 5：Semi-supervised Domain Adaptation based on Dual-level Domain Mixing for Semantic Segmentation

讲者：陈帅军，华为诺亚方舟实验室研究员

报告简介：基于数据驱动的方法在应用于看不见的目标域时泛化性较差，并且需要昂贵的标注成本，特别是对于密集像素预测任务如语义分割。半监督域适应(SSDA)，其中包含目标域的大量无标注数据以及少量带标注数据和大量带标注源域数据，能够在数据标注成本及算法的性能上达到一个较好的平衡。为了解决SSDA任务，我们提出了一种基于双层域混合的新框架。该框架包括三个阶段。首先，提出了两种数据混合方法分别从区域级和样本级来减少域间隙。我们可以分别从整体和局部两个层次的混合数据中得到两个互补的域混合教师网络。然后，通过多教师知识蒸馏得到一个超越任一教师网络的学生网络。最后，以self-training方式生成未标注目标数据的伪标签，并用于下一轮教师网络的训练。广泛的实验结果证明了我们提出的框架在合成到真实语义分割数据集上的有效性。

 

观看方式：

智源社区Hub直播：（点击【阅读原文】或扫描下方二维码）

（社区报名，可收到短信定时提醒）

Zoom 观看：https://zoom.com.cn/j/6011507040（无密码）

 

B站直播：https://live.bilibili.com/21484823

欢迎加入智源CVPR兴趣组

 

（加入CVPR兴趣组，共同讨论最新进展）

---

CVPR 研究组成员招募

智源社区作为一个以构建高度合作为目的的人工智能社区，为了推动人工智能领域，特别是计算机视觉领域研究者和从业者之间的交流和合作，我们将组织「CVPR 兴趣研究组」（以下简称“CVPR研究组”），以在线合作的方式来推动CVPR的交流工作。

CVPR研究组将以在读硕博为主要群体，围绕「CVPR」会议做（但不限于）以下工作，包括撰写论文解读文章、邀请并主持CVPR论文报告、专题讨论及领域进展分析等，以期促进大家的研究工作，并激发研究灵感，做出创新研究。

本研究组采用申请入组机制：

• 详情可点击「阅读原文」查看

• 报名请扫描二维码

（申请加入「CVPR 研究组」）