（八）HED：Holistically-Nested Edge Detection论文学习

一、摘要

HED用FCN及深度监督模型来得到图像到图像的边缘检测，多尺度的边缘特征由不同层的卷积层获得。BSD500的数据集ODS F-score的精度为.746

• 整体图像训练及预测
• 多尺度、多层次的特征学习
• class-balanced_sigmoid_cross_entropy

下图是不同尺度下的预测结果，可以看出传统的检测算法如canny算子会有图像边缘不连续的问题。HED的检测效果要比Canny的效果好，这里我认为因为Canny是对像素点邻域上显著变化的点做判断的，而利用深度网络学习边缘特征的HED是有学习到图像的抽象信息的而不是像canny只是单纯对它的数字图像信息上做处理，所以在HED预测出来的边缘图片里主体与主体之间及主体和背景之间的轮廓分割清晰。

二、 Holistically-Nested Edge Detection

缺少深度监督的网络会使边缘检测精度下降，以往的基于patch-to-pixel或是pixel-to-pixel模型会降低效率。这个HED是对VGG网络做了修剪再加上深度监督来设计的。

值得一提的是，这个图像到图像的训练和预测策略仍然没有明确地使用上下文信息，因为在HED中没有直接实施对相邻像素标签的约束。

2.1 多尺度边缘检测模型

获得多尺度边缘的方法有两种，一种是通过改变网络深度获得不同尺寸的感受野的内在改变方法，一种是改变输入图像尺度大小的外部改变方法。

如下图有四种主流模型：

• Multi-stream learning（a）: 一个输入同时在多个不同深度网络的分支训练最后融合到一个输出
• Skip-layer network learning（b）：一个输入在一个主流网络训练并将其他层次的特征融合入主流网络中最后得到一个输出
• Single model on multiple inputs（c）：将一个输入resize到多个尺度的图像输入到一个网络得到多个输出
• Training independent networks（d）：一个输入分别在不同深度网络中单独训练得到多个输出

2.2 class-balanced_sigmoid_cross_entropy

图像边缘预测任务是对像素点做二分类任务，由于图片中边缘的像素点数量远远低于非边缘的像素点，这里引入了一个超参数β来平衡正负边缘样本。

| Y- | 和 |Y+|分别代表非边缘和边缘的标签。

第一行：当Y=1时，| Y- |趋于0，此时β趋于小。换言之，对于负样本的权重变小，这时对于负样本的损失学习也变小。
第二行：当Y=0时，| Y+ |趋于1，此时β趋于大。换言之，对于正样本的权重变大，这时对于正样本的损失学习也就变大。

除了五个边损失计算还有一个融合后的损失。h为融合权值，Dist(·, ·)计算融合预测与groundtruth标记图之间的距离，用标准随机梯度下降法最小化以下目标函数。

三、 网络架构

采用了VGGNet架构，但做了以下修改：

1. 侧输出层连接到每一个阶段中的最后一个卷积层，conv1_2, conv2_2, conv3_3, conv4_3,
   conv5_3
2. 去掉了VGGNet的最后一个阶段，包括第5个池化层和所有完全连接的层，减少计算量以及由于步长32会导致图像太小模糊不好插值处理。