【论文分享】联合形态学滤波和卷积稀疏编码的图像去雨

摘要

针对现有方法对雨纹信息检测不完全 、 去除不彻底的问题，采用先获取低频在获取高频（加强低频）再从高频中提取出雨分量。具体来说：

1. 自适应多尺度形态学滤波方法获取低频分量
2. 可控滤波全变分（STV）对低频分量加强并获取高频分量
3. 多尺度卷积稀疏编码 (MS-CSC)对高频分量进行检测雨纹信息，获得雨层
4. 输入雨图减去雨层得到无雨图像

引言

彩色图像分解为低频成分和高频成分

低频 = 无雨分量

高频 = 雨分量(动态分量)+无雨分量(非动态分量)

雨纹对RGB通道影响基本相等，因为雨条纹为白色的；白色的RGB值是255,225,255，雨条纹像素点比周围像素点更亮。

相关原理

SVT (steerable total variation,STV)

可控滤波器 ( steerable filter) 是由 Freeman 和Adelson(1991) 提出的由多个基滤波函数线性组合构建的方向性滤波器 , 可通过控制基函数的组合确定滤波器的滤波方向 。

全变分 ( total variation,TV)模型由 Rudin 等人 (1992) 提出 , 在图像去噪的同时能较好地保留图像的边缘信息。

本文的SVT利用可控滤波器设计了一个指数函数引导 TV 模型的扩散系数 。

STV 模型比 TV 模型具有自适应的边缘检测能力 , 不仅能很好地保留图像的边缘和细节 , 同时能避免图像的阶梯效应

卷积稀疏编码模型

图像的稀疏表示源于高效神经元编码的假设 ,人类视觉系统对外界输入刺激采用低能量代价信息
处理策略 , 这种策略即为稀疏编码 ( sparse coding,SC)

y 是待处理的数据 , d 是待估计的稀疏向量 ,λ 表示正则化参数 , k (1 ≤ k ≤2) 是稀疏测度 , 稀疏表示的关键是找到信号稀疏表示的字典 , 即 F，CSC(卷积稀疏编码) 可以使用一个卷积核来表示图像任意位置的某个几何结构

本文方法

多尺度自适应形态学滤波

首先根据雨纹的结构存在宽度和长度的多样性 , 利用形态学中的膨胀运算构建一组多尺度的结构元算子来滤除图像中的雨纹信息 。利用小波滤波结果与噪声图像的信噪比来控制形态学滤波的结果 ,从而初步分解得到包含更少雨纹信息的低频分量

对有雨图像进行滤波 , 滤波结果与有雨图像求取一个信噪比PSNR , 并将其与PSNR0进行比较 , 来抑制形态学滤波 , 避免形态学滤波除掉过多的纹理结构 ; 如果 PSNR0 < PSNR , 则说明还是雨图，去雨效果不好，形态学滤波结果中还存在较强的雨纹信息 , 膨胀结构元算子获得更大尺度的算子 , 进一步对有雨图像进行滤波。 （可以用神经网络来实现这部分思想）

中值滤波和双边滤波得到的低频分量中仍保留有大量的雨纹信息 , 引导滤波和小波滤波在滤除掉雨纹的同时也丢失了大量图像自身的纹理信息 。

低频分量的保边正则化

滤波的缺点：滤波的强度较大 , 容易导致图像目标区域边缘细节的丢失和模糊 , 这是滤波方法普遍存在的问题。而图像去雨中希望提取的低频分量能尽可能地保留清晰的图像纹理信息。
STV 模型来自适应的边缘检测能力 , 保留图像的边缘和细节 , 避免图像的阶梯效应，弥补滤波的缺点。

可以看到利用保真项，可以恢复出边缘更清晰的低频分量！高频可以由下式得到：

基于 MS-CSC 的高频分离

上述分解获得的高频细节仍然存在背景层的纹理信息 , 如果直接将该高频分量作为雨层 , 会导致去雨结果中丢失掉部分细节信息, 构建一种多尺度字典的 CSC方法来重构高频分量 , 减少高频分量中的非雨纹信息 , 获得更精确的雨层 。

MS-CSC 模型式进行雨层重构的过程如下 :

1、利用初始提取的高频分量来初始化多尺度字典 , 并对高频分量进行稀疏编码

2、利用迭代求解的方法来更新字典及其对应的稀疏系数

3、利用求解的字典和稀疏系数进行高频分量的重构 ,即重构雨层 IR

多尺度字典初始化

根据图像场景中雨线尺寸的多样性特点 , 利用不同字典的权重分布表征不同尺寸的雨纹信息 , 通过构建一种多尺度的字典来对雨层进行编码

对 MS-CSC 模型式进行循环求解更新雨层和字典 , 迭代次数从 j = 1,…, J :
使用公式更新卷积稀疏编码的字典 F ;
通过公式更新稀疏编码的稀疏系数 D ;
通过公式获得重构的雨层 IR 。

去雨结果

如果觉得对你有帮助的话:
点赞，你的认可是我创作的动力！
⭐️ 收藏，你的青睐是我努力的方向！
评论，你的意见是我进步的财富！