空洞卷积/扩张卷积(Dilated convolution)-笔记

空洞卷积/膨胀卷积
(1)普通卷积操作
3*3的kernel,上方深绿色为输出特征图,下方蓝色为原输入图
空洞卷积/扩张卷积(Dilated convolution)-笔记_第1张图片空洞卷积/扩张卷积(Dilated convolution)-笔记_第2张图片
空洞卷积/扩张卷积(Dilated convolution)-笔记_第3张图片空洞卷积/扩张卷积(Dilated convolution)-笔记_第4张图片
(2)空洞卷积
其中r为扩张率,指的是卷积核的点的间隔数量。特别的,当r=1时,为普通卷积。
空洞卷积/扩张卷积(Dilated convolution)-笔记_第5张图片空洞卷积/扩张卷积(Dilated convolution)-笔记_第6张图片
作用:
1.增大感受野
2.保持原输入特征图W、H(宽度和高度)
在实际应用中,会对参数p进行操作,以保证原输入特征图W、H不会发生变化

(3)能否简单粗暴的堆叠膨胀卷积层?
不能!!!!!(详见论文Understanding Convolution for Semantic Segmentation)

gridding effect
空洞卷积/扩张卷积(Dilated convolution)-笔记_第7张图片
下图中数字代表这个位置的像素被使用的次数,越红使用次数越多

空洞卷积/扩张卷积(Dilated convolution)-笔记_第8张图片空洞卷积/扩张卷积(Dilated convolution)-笔记_第9张图片空洞卷积/扩张卷积(Dilated convolution)-笔记_第10张图片
我们发现在Layer4上的pixel利用的Layer1上的数据并不是连续的,导致我们丢失一些信息,称之为gridding effect现象。

如何避免gridding effect现象?
Layer1,2,3 的膨胀系数分别设置成[1,2,3]空洞卷积/扩张卷积(Dilated convolution)-笔记_第11张图片空洞卷积/扩张卷积(Dilated convolution)-笔记_第12张图片
空洞卷积/扩张卷积(Dilated convolution)-笔记_第13张图片

若全部采用普通卷积
空洞卷积/扩张卷积(Dilated convolution)-笔记_第14张图片
空洞卷积/扩张卷积(Dilated convolution)-笔记_第15张图片
(4)当使用多个空洞卷积时,如何设置膨胀系数
Hybird Dilated Convolution(HDC)
The goal of HDC is to let the final size of the RF of a series of convolutional operations fully covers a square region without any holes or missing edges.
HDC的目标是,使用一系列空洞卷积操作后的接受域RF是完全覆盖底层的,且没有任何空洞。
建议1
空洞卷积/扩张卷积(Dilated convolution)-笔记_第16张图片
建议2
空洞卷积/扩张卷积(Dilated convolution)-笔记_第17张图片
共同要求
空洞卷积/扩张卷积(Dilated convolution)-笔记_第18张图片

图片来源bilibili 【膨胀卷积(Dilated convolution)详解】https://www.bilibili.com/video/BV1Bf4y1g7j8?vd_source=6fde5fa387e263aed1e2578fe5df9026

你可能感兴趣的:(乱七八糟,深度学习,人工智能,神经网络)