嵌入式分割网络之空洞卷积

---

前言

空洞卷积[^1]在分割网络中频繁出现，空洞卷积对分割网络有什么好处？这是我分析该原理的原因。

---

一、空洞卷积是什么？

在图像中，卷积核的大小不变，但是在图像中通过增加卷积核间隔，可以扩大图像的感受野范围。当stride = 1时，间隔为0，也就成为普通的卷积，普通卷积是空洞卷积的特例，参考动态图例子vdumoulin /conv_arithmetic

二、为什么要使用空洞卷积？

普通卷积网络操作过程：先卷积，再下采样（pooling），下采样操作是为了增大特征图像素的视野范围。
分割算法的关键操作：下采样增加特征图的视野范围，上采样预测分割结果。下采样过程中，特征图会被压缩，假设下采样次数为n，那么小于2的n次方的真实物体信息不可恢复的丢失。
空洞卷积的好处：不做下采样损失信息的情况下，加大了感受野，让每个卷积输出都包含较大范围的信息，参考文献1阅读论文细节。

三、如何使用空洞卷积？

空洞卷积存在的问题：
1，信息不连续，也就是griding effict
解决方法：HDC[^2]
作者定义了几组[^6]合理的空洞卷积序列：[1,2,3], [3,4,5], [1,2,5], [5,9,17], [1,2,5,9]
2，远距离的特征信息丢失
解决方法：DeepLabv3中采用的做法是对最后一层特征图应用全局池化，再将其送入一个1x1的卷积层中，最后，通过双线性上采样实现希望的空间分辨率[^3]

3，大感受野的空洞卷积难以兼顾小目标物体
解决方法：ASPP
4，相比下采样操作，计算量大。
解决方法：？

总结

初步理解空洞卷积的优缺点以及使用时的方法，结合实际数据的结果再更新心得。

参考文章[^1]MULTI-SCALECONTEXTAGGREGATION BYDILATEDCONVOLUTIONS
参考文章[^2]Understanding Convolution for Semantic Segmentation
参考文章[^3]Rethinking Atrous Convolution for Semantic Image Segmentation
参考博客[^4]总结-空洞卷积(Dilated/Atrous Convolution)
参考博客[^5]如何理解空洞卷积（dilated convolution）
参考博客[^6]空洞卷积语义分割：HDC，ESPNet，Smoothed Dilated Convolutions