论文阅读《Automatic Pavement Crack Detection Based on Hierarchical Feature Augmentation》
目录
Abstract
1 INTRODUCTION
2 RELATED WORK
2.1 Traditional Methods
2.2 Machine Learning Methods
2.3Deep Learning Methods
3 METHODOLOGY
3.1 Hierarchical Feature Extraction Network
3.2 Muti-dilated Convolution
3.3 Hierachical Feature Augmentation
3.4 Side Networks
4 EXPERIMENTS
4.1 Implementation Details
4.2 Dataset
4.3 Evaluation Criteria
4.4 Results and Analysis
5 思考
Abstract
公路作为重要的基础设施，是交通运输系统的基础。道路裂缝的检测变成了一项重要的任务。然而，由于裂缝形态的复杂性和多样性，检测道路裂缝成为一项挑战性的工作。现有的裂缝检测方法存在检测效果差和泛化能力弱的问题。受到深度学习相关技术的启发，我们提出了一个基于特征增强的裂缝检测网络，以提取道路图像中的裂缝区域。这个网络使用并行扩展的卷积分支去捕捉不同尺度的图像信息。提出了分层特征增强模块，将不同层次特征图的关键信息进行整合。并且引入侧边网络在每一层进行预测。我们在公开的数据集上进行实验，来验证所提出裂缝分割网络的性能。对比与其他已有的裂缝检测方法，本文所提出的方法可以有效地预测裂缝像素。检测精度和泛化性都提高了。
关键词：深度学习，裂缝检测，特征增强
1 INTRODUCTION
第一段：大致意思为道路裂缝会产生较大的危害，有必要进行快速地裂缝检测
第二段：自动裂缝检测致力于使用计算机视觉技术来精确地检测道路图像中地裂缝位置和裂缝区域。道路裂缝是具有一定宽度的不规则线性目标，它通常在道路环境中表现为细长或复杂的交错线。
早期研究：文献【1】和文献【2】，利用图像中灰度值的差异来检测裂缝。
边缘检测方法【3】用于识别裂纹图像中对比度变化明显的裂纹像素。
一些人工设计的滤波器，例如【4】和【5】，加入了先验知识并且使用裂缝局部特征去检测裂缝区域。
然而，由于不同的拓扑结构和宽度，以及水渍污点等其他因素，道路裂缝检测成为了一项具有挑战性的工作。另外，裂缝像素的灰度值通常与周围背景的灰度值相近，这使得裂缝检测更困难。因此，这些检测方法的性能存在局限。
近年来，卷积神经网络对促进图像识别的发展发挥了重要作用。一些方法【6】和【7】使用图像分类模块去进行检测，但是这种方法没有在像素级别进行裂缝检测。
最近，一些研究者，使用语义分割的技术进行裂缝检测，【8】和【9】分别使用FCN【10】和Segnet【11】在像素级别进行裂缝检测并获得的高准确率。但是这些方法仅使用固定尺度的卷积块，不具有鲁棒性。
在本文中，我们提出了一个分割网络来进行自动裂缝检测，这个方法不需要任何前处理和后处理。所提出的方法利用增强的层次特征来优化裂缝检测的性能。
首先通过特征提取网络，提取裂缝的层次特征。保留每个卷积阶段的特征图以检测更多的裂缝信息，使用多膨胀卷积模块（MDC）去并行地去提取不同上下文大小地多尺度信息。
其次，提出了分层特征增强模块（HFA）进行特征增强，这个模块整合了高层特征和低层特征的上下文信息，
最后，增强后的分层特征被喂入到侧边网络中，在每一层级进行独立的裂缝预测，所有来自侧边网络的输出被整合到一起形成最终输出。
2 RELATED WORK
随着相关科技的发展，各种新的技术和算法被逐渐应用到裂缝检测上。主要有三种主流的裂缝检测技术【12】：传统方法，基于机器学习的方法，基于深度学习的方法这一节主要介绍利用这些方法所作的工作。
2.1 Traditional Methods
文献【1】和文献【2】考虑到裂缝区域的灰度值要低于非裂缝区域，因此灰度图的阈值（分割）可以运用到分辨裂缝和非裂缝区域中，但是其不适合于复杂场景。
在【3】中，根据形态学运算，边缘检测方法可以获得清晰的二进制裂缝图像，利用形态学滤波器提取裂缝特征并且用改进过的中值滤波算法去除图像中的噪声。
然而这些方法都比较容易受到环境复杂度的影响。
人工设计的滤波器例如Gabor【4】、wavelt transform【5】，在单一裂缝的检测中有较好的效果，但有在复杂多样的裂缝上表现不好
2.2 Machine Learning Methods
集中在分类上，检测一幅图片是否存在裂缝
2.3Deep Learning Methods
文献【6】是首次尝试将深度学习应用到道路裂缝分类中。文献【7】和【8】将图像裁剪更小的patches并利用CNN预测一个Patch是否存在裂缝，这些方法都没有实现像素级别的分类。
在【11】，FCN被提出用来实现像素级别端到端的语义分割。
后面就是在讲FCN->Segnet的一个发展，最后点出问题：如何利用现有的层次特征来提高检测结果的研究还比较少。
3 METHODOLOGY
网络结构如图1所示：（1）层次特征提取网络（2）MDC（多尺度卷积模块）（3）层次特征增强模块（4）侧边网络
3.1 Hierarchical Feature Extraction Network
即主干特征提取网络，用的是VGG16
3.2 Muti-dilated Convolution
多尺度卷积融合模块
3.3 Hierachical Feature Augmentation
层次特征增强模块
3.4 Side Networks
参考HED
4 EXPERIMENTS
4.1 Implementation Details
pytorch，11G内存1080，并根据Deepcrack【21】
使用SGD优化
超参数设置：
迭代次数为2e5
batchsize设置为1
初始学习率为0.0001，通过StepLR方法调整学习速率(5e4后将学习速率降低到1/10)
动力梯度momentum为0.9
权值衰减2e-4
4.2 Dataset
（1）Deepcrack
包含500张不同背景的裂缝图像，我们将其中的300张用于训练，237张用于测试。
（2）CFD（crack forest dataset）
118张320*480的图像，图像包含环境噪声如污点、水渍和阴影
（3）CRACK500
包含3368张640*360道路裂缝图像，2500张用于训练，868张用于测试
另外，由于（1）和（2）中的数据较少，因此本文进行了数据扩增
4.3 Evaluation Criteria
4.4 Results and Analysis
与HED、Segnet、RCF、Deepcrack进行了对比，用于对比的网络模型的参数使用其论文中的参数。
表1～3展示了实验结果
我们注意到使用本文所提出的方法可以获得最好的F1-score和最哦好的mIOU，实验结果表明本文方法在三个公共数据集上检测效果更好，这也表明本文方法更有能力在真实的带路环境中检测复杂裂缝。
多尺度膨胀卷积模块的引入可以明显地增强网络对于不同形态和宽度的裂缝的检测能力，层次特征增强（模块）的引入可以整合高层特征和低层特征中有用的信息，因此所提出的方法能有更好的实验效果
MDC模块中膨胀卷积的膨胀率是一个重要的超参数，不同的rate设置可以改变MDC获得的上下文信息，作者为此进行了实验，设置了三组膨胀率，实验结果如表4.
结果表明，当膨胀率设置为{2， 4， 6， 8}时，在Deepcrack数据集上可以获得最好的F1-score和mIOU。
这是因为，裂缝一般比较细长，膨胀率较小的卷积不能提取足够的语境信息，而膨胀率较大的卷积则会提取到一些无用的背景信息，这都会影响准确率。
5 思考
问题：
1、论文的主要内容
见上文
2、论文的创新点
采用并行的空洞卷积分支来提取不同尺度的裂缝信息，同时结合检测不同大小裂缝所需要的不同上下文信息。为了增加层次特征图中的裂缝信息，提出层次特征增强模块用将深层特征图的抽象信息引入到浅层特征图中，之后网络使用一个自底向上的路径增强结构将浅层次特征图反向增强深层次特征。
3、论文的研究方法是否可靠，结论是否可靠
看起来可靠，与大多数相似论文的流程差不多
4、论文有何不足与改进的地方
既然加了引入了多个模块，但是这些模块并非正交的，是否应做一消融实验。
5、论文的思想是否有启发意义
本文主要聚焦在深层信息和浅层信息的融合，以及多尺度信息的获取上，对于以后的工作，可以从这两方面考虑。