骨架提取之AdaLSN

paper:https://arxiv.org/pdf/2011.03972.pdf
code:https://github.com/sunsmarterjie/SDL-Skeleton

摘要

传统的物体骨架检测网络通常是手工制作的。 虽然有效，但它们需要密集的先验知识来为不同粒度的对象配置具有代表性的特征。 本文提出了自适应线性跨度网络(AdaLSN)，在神经架构搜索(NAS)的驱动下，自动配置和集成目标骨架检测的尺度感知特征。AdaLSN是用线性跨度理论建立的，它为多尺度深度特征融合提供了最早的解释之一。 通过定义混合单元金字塔搜索空间来实现AdaLSN，它超越了使用单元级或金字塔级特征的许多现有搜索空间。 在混合空间中，我们应用遗传结构搜索来联合优化单元级操作和金字塔级连接，以实现自适应特征空间扩展。 AdaLSN通过实现与最先进的技术相比的更高的精度和延迟权衡来证实其通用性。 它还证明了图像掩模任务的一般适用性，如边缘检测和道路提取。

介绍

SKELETON是一种具有代表性的视觉描述符，它包含关于对象拓扑的丰富信息，构成了对象形状的解释抽象。对象骨架可以转换为描述性特征和/或空间约束，以可解释的方式推广计算机视觉任务，如人类姿态估计、手势识别、文本检测和对象定位。

在深度学习时代，利用卷积神经网络(CNNs)进行对象骨架检测取得了前所未有的进展。 最先进的方法通常使用侧输出体系结构来集成特征金字塔，作为从对象外观、姿态和尺度变化的对策。 这本质上是基于这样的观察，即低级特征集中在详细的结构上，而高级特征具有丰富的语义。

作为一项先驱工作，整体嵌套边缘检测(HED)采用了一种深入监督的策略，以并行的方式充分利用多尺度特征。 融合规模相关的深度侧输出(Fusing scale-associated deep side-outputs，FSDS)采用分治法来监督给定规模相关的真值的网络侧输出。RSRN利用侧向输出残差单元研究了多层关联问题，以求深浅模糊条件下多尺度特征之间的互补性。 Hi-Fi引入了一种双边特征集成机制，以纳入低层次的细节和高层次的语义。

尽管取得了令人鼓舞的进展，但一个局限性在于，大多数现有的骨架检测网络体系结构都是手工制作的，缺乏理论备份。 虽然这种包含丰富人类知识的网络在某种程度上是有效的，但它们在不同粒度的对象/部件的最大表示互补性方面遇到了困难。 这阻碍了复杂场景中对象骨架检测的进一步性能优化。

本文将像素级二分类任务描述为线性跨度框架内的线性重建问题并得出网络设计的关键是进行特征空间扩展。 因此，我们提出了一种系统的方法，称为自适应线性跨度网络(AdaLSN)，用于对象骨架检测的层次尺度感知特征的转换和集成， 如下图所示。 AdaLSN是由神经架构搜索(NAS)驱动的，它优化了网络操作和连接，以将特征推向规模感知配置。 这提高了功能的通用性，以更高的准确性和延迟权衡相比，最先进的。

在线性跨度理论的指导下，我们发现不仅要在每个阶段扩展特征子空间，而且要自适应地减少结构冗余来压缩它们的交叉空间。 具体来说，我们设计了线性跨度单元(linear span unit，LSU)，以显式地将输入特征转换为与定制操作互补的特征。 基于LSU，我们构造了一个可解释的搜索空间，称为线性跨度金字塔(linear span pyramid，LSP)，以执行子空间和和空间扩展。 LSP是一种单位金字塔混合搜索空间，它以互补学习策略追求特征补码空间。 在单元级，特征空间由LSU扩展。 在金字塔层次上，我们逐步对每个扩展的特征子空间提出中间监督，以减少它们的语义重叠，并扩展和空间。 通过遗传搜索算法，AdaLSN自动优化搜索空间每个区域的网络操作和连接，包括多个侧输出、短连接、特征转换和中间监督，以将特征推向规模感知配置。

在我们以前的研究中提出了线性跨度网络(LS N)，同时通过引入设计良好的体系结构搜索空间和自适应搜索算法来促进线性跨度网络。 本文的贡献总结如下：

• 我们提出了自适应线性跨度网络(AdaLSN)，为在线性跨度框架内学习互补的尺度感知特征开辟了一个很有前途的方向。
• 我们设计了一个单位金字塔混合搜索空间，其中竞争网络架构通过正确定义的遗传操作来进化搜索。
• 我们改进了对象骨架检测的最新技术，并演示了AdaLSN对图像到掩码任务的一般有效性，包括边缘检测和道路提取。

实验结果展示