LPNet for Image Derain

Lightweight Pyramid Networks for Image Deraining

  • 前置知识
    • 高斯-拉普拉斯金字塔
    • 图像中的高频信息和低频信息
  • 为什么高斯-拉普拉斯金字塔可以实现去雨?
    • 可能性分析
    • 网络结构
      • 整体结构:
      • 子网结构:
        • 递归块结构:

后续补充代码

前置知识

这篇论文中的模型以高斯-拉普拉斯金字塔为基础,实现轻量级的图像去雨。

高斯-拉普拉斯金字塔

通过对A1下采样得到A2,在对A2上采样得到A1’,由于下采样会造成像素损失,使得 A1 != A1’ ,因此 L1 = A1 - A1‘。LPNet for Image Derain_第1张图片

图像中的高频信息和低频信息

低频信息:
低频信息主要是图像中的主体部分,具有颜色变化缓慢的特点,比如下图:
LPNet for Image Derain_第2张图片

高频信息
高频信息主要是图片中灰度发生剧烈变化的区域,多位于物体边缘等细节部位,比如下图:
LPNet for Image Derain_第3张图片

为什么高斯-拉普拉斯金字塔可以实现去雨?

可能性分析

因为雨痕对背景产生的遮挡导致背景信息发生变化,因此雨痕可以视为一种高频信息。在进行下采样时,卷积核会用周围的信息去填补雨痕处的信息;但是上采样恢复时,并不能恢复出雨痕(上采样可以近似理解为插值) 此时,用原始图像减去下采样后又上采样恢复的图像,可以得到图片中的雨痕信息(也会有别的纹理细节信息)(称为细节信息)。
可以训练网络学习从有雨图像的细节信息,去学习生成无雨图像的细节信息使用模型的方法? 从而引导图像去雨。

网络结构

将图片不断下采样,并获取细节图,训练网络根据有雨细节图恢复无雨细节图的能力。

整体结构:

LPNet for Image Derain_第4张图片

子网结构:

LPNet for Image Derain_第5张图片
特征提取函数
在这里插入图片描述

递归块结构:

LPNet for Image Derain_第6张图片

递归块函数
LPNet for Image Derain_第7张图片

你可能感兴趣的:(Python,图像去雨,计算机视觉,深度学习,人工智能)