本征图像分解：Retinex理论

我们通过眼睛观察到或者相机拍摄到的物体颜色主要由两方面因素决定，第一是物体本身的材质和颜色，比如我们常说的“花红柳绿”就表达了我们对于普通花朵和柳叶本身颜色的最朴素的认知；第二是周围的光照环境，包括了光源的颜色、强度分布等。同一物体在不同的光照环境下往往表现出不同的颜色。那么，有没有可能通过一种技术，可以把上述两种因素分离开？如此一来，我们便可以通过改变其中某一具体的因素来实现一些简单的图像处理效果。比如，我们可以通过单纯改变光照环境，从而把一朵在室外拍摄的鲜花，虚拟地表现为在室内拍摄的样子。本征图像分解正是一种这样的计算机视觉技术。传统的本征图像分解试图将一张图片Ｉ按照公式：

分解为两个部分，即图片的反射率本征图以及图片的亮度图。如图１．２所示，其中反射率本征图４表达了包括物体材质、颜色等在内的与周围环境无关的物体本征反射Ｍ性；而亮度本征图则包含了光照环境与物体几何结构作用后的明暗信息。简单来说，反射率本征图Ａ和亮度本征图Ｄ分别反映了物体本身的颜色和周围光照这两个相互独立的信息。为了方便计算和提高算法的稳定性，人们往往对公式1做对数运算，从而得到：

其中．这样我们只需要求解亮度本征图Ｄ的对数ｉ，而反射率本征图Ａ的对数可以通过间接得到

从上述公式中不难发现，在本征图像分解的数学描述中，需要求解的未知量包括了反射率本征图以及亮度图而己知量则只有输入的图片。
也就是说，要求解的未知量数量是已知量的两倍。因此，本征图像分解也属于计算机视觉领域中常见的不适定问题[注]。针对这类问题，研究学者们一般采用添加合理的约束或者先验的方法来求解此类问题。具体到我们所关注的本征图像分解问题，常使用的先验知识包括了局部和全局的Retinex约束、时域Retinex约束、几何结构约束等等。

Retinex理论

在本征图像分解问题的求解中应用最为广泛的先验约束就是Retinex理论。它是由英文单词retina（视网膜）和cortex（皮层）组成的一个合成词。该理论重点解释了人类视觉系统对颜色和亮度的感知模型。它主要包含了两个方面的内容：
１．物体的颜色是由其对长波、中波和短波光线的反射能力决定的，并不依赖于反射光线的强度；
２．物体的颜色不受光照非均性的影响，具有一致性。
基于Retinex理论，我们认为，一般而言，在一张图片上相邻两个像素之间的反射率和亮度变化均很小。因此，一张图片的反射率本征图和亮度本征图可以通过最小化他们的梯度图来求解

[注]在经典的数学理论中，人们只研究满足下列三个条件的适定问题：１、存在性：解是存在的；２、唯一性：解是唯一的；３、稳定性：解连续依赖于初边值条件。这三个条件中，只要有一个不满足，则称之为不适定问题。

应用

Retinex理论广泛应用在图像增强领域，传统方法上有：

1. 单尺度Retinex:SSR
2. 多尺度Retinex:MSR
3. 带色彩恢复的Retinex:MSRCR

深度学习方法中也有应用到该理论的，即RetinexNet[4]，这篇文章首先是用单反相机不同的光圈值和感光度拍摄同一个场景，作为图像对进行训练，也就是说同一场景拍摄一个低照度图像，然后在拍摄一个正常图像进行训练。它包括一个用于分解的分解网络（Decom）和一个用于照明调节（Relight）的增强网络。分解网络通过关键的约束条件，包括低/正常光图像共享的一致反射率，以及光照的平滑度来训练。在分解网络的基础上，利用增强网络对光照进行后续的亮度增强，并使用去噪方法对反射图进行去噪操作。网络端到端训练，学习分解的性质有利于亮度的调节。

参考文献：
[1]. 李琛. 人脸本征图像分解及其应用 [D]. 浙江大学, 2017. 链接：http://cdmd.cnki.com.cn/Article/CDMD-10335-1017251250.htm
[2]. 谢凤英,汤萌,张蕊.基于Retinex的图像增强方法综述[J].数据采集与处理,2019,34(01):1-11.
Xie Fengying,Tang Meng,Zhang Rui.Review of Image Enhancement Algorithms Based on Retinex[J].Journal of Data Acquisition and Processing,2019,34(01):1-11.链接：http://sjcj.nuaa.edu.cn/sjcjycl/article/html/201901001
[3]. Retinex图像增强算法(SSR, MSR, MSRCR)详解
[4]. Wei C, Wang W, Yang W, et al. Deep retinex decomposition for low-light enhancement[J]. arXiv preprint arXiv:1808.04560, 2018.