HDR之双边滤波和引导滤波

文章目录

    • 3D LUT
    • HDRNet
    • Bilateral Guided Upsampling
    • Joint Bilateral Upsampling


3D LUT

提升感知质量(perceptual quality)是数码相机图像处理不可缺少的,一般通过级联的模块例如曝光补偿(exposure compensation), 色调/饱和度调整(hue/saturation adjustment), 颜色空间转换和修改(color space conversion and manipulation), 色调映射(tone mapping), 伽马校正(gamma correction)

  • 数据集
    MIT-Adobe FiveK dataset

基于深度学习的增强方法可以分为两类

  1. 学习一个像素到像素的映射(pixel-to-pixel mapping) or 预测一个像素级的变换(pixel-wise transformations)
  2. 预测一系列预定义增强操作的概率和/或映射曲线的参数

The networks take down-sampled low-resolution (LR) images as input to predict which ones of the pre-defined operators and/or mapping curves should be used to enhance the given high-resolution (HR) source images
按照以前的方法,网络采用低分辨率(LR)的输入预测哪个预定义的操作和/或映射曲线应该被应用在高分辨率(HR)的源图像上


  • framework
    HDR之双边滤波和引导滤波_第1张图片
    3D LUTs 怎么学习的?

  • 相机图像流程增强(enhancement in camera imaging pipeline)
  • exposure correction [13, 14]
  • color constancy [15, 16]
  • constrast enhancement [17, 18]
  • color manipulation [19, 20]
  • tone mapping [21, 22]
    按照文献[1] 大部分操作在实际应用中都可以使用相同的技术, 例如1D or 3D LUT

  • 后期调整增强(enhancement in photo retouching)
    专业的修图软件 + 专业的修图知识

  • 基于样例的图像转换/增强(example-based photo transfer/enhancement)
    [26-33] 大多是图像风格转换

  • 基于学习图像增强(learning-based pphoto enhancement)

  • 3D LUT
    HDR之双边滤波和引导滤波_第2张图片
    HDR之双边滤波和引导滤波_第3张图片

给出一个RGB 的输入,他在3D LUT 中的坐标为:
HDR之双边滤波和引导滤波_第4张图片
其中公式
HDR之双边滤波和引导滤波_第5张图片


  • 学习图像自适应的3D LUTs(learning image-adaptive 3D LUTs)
    传统的3D LUTs 有两个主要的缺点:一是人工设计;二是参数固定

  • CNN model
    HDR之双边滤波和引导滤波_第6张图片

  • learning criteria
  • pairwise learning
    7
  • unpaired learning

8
9

  • regularzation

  • smooth regularization
    HDR之双边滤波和引导滤波_第7张图片
    12
    没想通约束w_n 来增加smooth?

  • monotonicity regularization
    HDR之双边滤波和引导滤波_第8张图片
    一来保证亮度和饱和度;二来训练数据可能没有覆盖整个颜色空间


看图像效果好像还不如HDRNet


HDRNet

inspired by bilateral grid processing and local affine color transforms
predict the coefficients of a locally-affine model in bilateral space
make local, global, and content-dependent decisions to approximate the desired image transformation
HDR之双边滤波和引导滤波_第9张图片


Bilateral Guided Upsampling


这篇文章被誉为HDRNet 的先行版, 开篇这张图slice 也没有看懂, 看下面这个文章可以理解JBU。
文章想要做的是将在低分辨率上适合的操作运用到高分辨率图像上
双边网格+3D 放射矩阵(这个不太懂…)
看不懂这篇文章…
HDR之双边滤波和引导滤波_第10张图片
具体优化,一遍难以理解,可能需要再看一遍,然后看下源码, 还有一个py实现


Joint Bilateral Upsampling

一些图像问题都使用一个通用的处理方式——像素级别的处理
联合双边上采样(Joint bilateral upsampling)

  • 双边滤波(bilateral filters)[1998]
    1
  • 导向滤波(guidance filters)[2004]
    2
  • 联合双边滤波(joint bilateral upsampling)
    3
    HDR之双边滤波和引导滤波_第11张图片
    参考这个pyJBU
  • Tone mapping
    exposure map
    HDR之双边滤波和引导滤波_第12张图片

痛心疾首的结束语,由于时间关系,想读懂这一系列文章,还需要补充阅读的论文是
bilateral grid, Chen 2007
Guided filter, He 2010
Fast guided filter, He 2015
我想看完以上几篇论文才能堪堪理解HDRNet 的做法和初衷,其实通过学习这样一个per-pixel 的系数并非易事,HDRNet 也并非没有缺点,但是提供了一个很好的思路。
如果有时间再将这一系列论文好好再拜读一遍,因为确实读一遍还是不足以看懂(有生之年系列…)
HDR之双边滤波和引导滤波_第13张图片
HDR之双边滤波和引导滤波_第14张图片
HDR之双边滤波和引导滤波_第15张图片
HDR之双边滤波和引导滤波_第16张图片
HDR之双边滤波和引导滤波_第17张图片

你可能感兴趣的:(论文)