Chapter4、色调映射的一般方法

因为这本书对具体方案的原理并不细说，只提了有哪些方法和有哪些效果，类似于综述。因此，我以后也按照综述的方法来写，不细说原理了。

4.1、色调映射的一种一般方法

4.1.1、建模一种通用的色调映射算子

Mantiuk and Seidel提出的一种方法：

提出一种建模色调映射算子（TMO）的三个步骤：

1、像素级别的色调曲线

2、调制转换函数

3、颜色校正

流程图：

 于是我们要做的便是建模以上三个步骤。

效果：

(a)使用快速双边滤波的HDR色调映射图像             (b)本方法得到的HDR色调映射图像 

4.1.2、显示自适应色调映射

不同的显示器通常有不同的特性如色域、动态范围等，因此我们在显示器上显示色调映射的图像往往要考虑到不同显示器的特性，因此我们往往需要一个额外的步骤来手动调整显示设备上的显示设备上的图像。

Mantiuk等人提出一个TMO能够实现自适应调整：

通过对比HVS对显示器上显示的图像和原始输入HDR图像的响应来实现：

为了计算响应，将HVS模型与图像的显示模型集成。在原始HDR输入图像的情况下，HVS模型可选择与图像增强模型集成。TMO的参数通过最小化 和的差距来计算。

4.1.3、混合色调映射算子

在图像的不同区域使用不同的表现最好的TMO。因此一个HDR图像使用分别使用不同的色调映射算子，然后将这些图像根据每个TMO对于各自区域的表现进行权重编码来融合。

问题的关键在于怎样确定选择TMO的度量准则以及怎么融合图像。（不过多介绍）

4.1.4、注视相关色调映射

能够测量显示器上的注视点的眼球追踪器与LDR显示器结合能够一个色调映射算子来适应用户正在用户正在看的图像区域。这种方法能够模拟用户在眼睛适应时如何感知真实环境，为了实现这一点，TMO使用当前的注视点来计算注视点上的自适应亮度。例如，一个简单的注视相关sigmoid算子可以被定义为：

 其中，y是注视点，f是计算自适应亮度的函数。

这种方法的缺点：

眼球追踪器并不能高精度地测量注视点。这可能导致当前自适应亮度的不准确计算，并可能导致闪烁的伪影。

 另一个重要的问题是，如何确保在HVS中发生的适应机制被适当地建模。

 4.2、色调映射中的颜色管理

本节介绍减少色调映射过程中发生的颜色扭曲的方法，以及用于管理处于不同环境和拥有不同色域的显示器上的颜色的技术。

 4.2.1、颜色校正

 色调映射调整输入HDR图像中的对比度关系，允许保存在输出LDR图像中的细节和对比度。这通常会导致颜色外观的变化，为了解决这个问题，TMOs经常使用一个特别的颜色去饱和步骤。这并不能保证颜色外观被完全保留，因此也可能需要对每个色调映射的图像进行手动调整

全局颜色校正：

Mantiuk等人进行了一系列的主观实验，以量化和建模色调映射后所需的颜色饱和度校正。给定亮度域的色调映射曲线，作者想要找到与输入HDR图像外观匹配的输出图像的色度值（没有色度修改）、在同一显示器上显示时，不修改色调而保留参考图像的外观。

对比度因子c和饱和度因子s之间的关系被量化和近似的幂函数，其定义为：

 f是色调映射算子，。 k1和k2是用最小二乘拟合两个不同目标的参数：非线性颜色校正和亮度保持校正。在非线性颜色校正的情况下，k1和k2分别为1.6774和0.9925；在亮度保持校正的情况下，k1和k2分别为2.3892和0.8552。

(a)参考HDR图像  (b)使用了Reinhard等人的全局算子的对(a)色调映射后的图像 

(c)对(b)使用s=0.75的颜色校正后的图像 (d)对(b)使用自动颜色校正

(e)对(b)使用Pouli等人提出的颜色校正方法

总体饱和度校正：

虽然Mantiuk等人方法允许对上述方程进行参数预测，但色调压缩函数必须是全局的。Pouli等人的目标是在色相和饱和度方面匹配颜色外观，同时保留的亮度值。

为了保持色相的一致性，将图像转换为XYZ，然后转换为IPT颜色空间进行图像表示。为了直接操纵色度和色调，IPT颜色值被转换为圆柱形颜色空间ICh(I明度，C色度和h色调)。

为了实现高质量的颜色校正，需要保留色调映射图像的亮度，即通道不被进一步处理。此外，在将色调映射图像的饱和度与原始HDR图像进行匹配时，色调失真需要最小化。由于色调映射图像的色调可能在色调映射过程中被色域裁剪而扭曲，因此它被设置为原始HDR图像的色调。饱和度s是通过一个公式来模拟人类的感知。

色调映射以不改变色度信息的方式来非线性地压缩亮度。因为饱和度取决于亮度，因此改变色调映射图片的亮度会导致过饱和效果。 

色调映射过程中的非线性亮度映射是色调映射图像的几个像素相对于周围像素的相对亮度增加的原因。为了处理这种不匹配，色调映射图像的色度Cd被缩放到原始HDR图像在CIE L∗C∗h颜色空间中的大小。

 色调映射和原始图像的饱和度比率写作：

 校正后的色度可以写作：

 通过从HDR图像(hc=hw)复制值来重置色调映射图像的色相（hue）。将色度校正后的与色调映射图像的亮度通道相结合，得到最终的校正结果，然后转换回RGB；

4.2.2、颜色范围（Color Gamut）

第4.2.1节中描述的颜色校正技术提供了降低颜色饱和度的解决方案，该颜色饱和度在原始HDR图像和色调映射图像之间产生不同的颜色外观。然而，这些方法没有考虑到最终显示色调映射图像的目标色域。因此，色调映射图像的像素可能被显示色域中被遗漏。此外，如果像素被映射到显示色域，可能会导致强烈的色相偏移和亮度失真。在标准成像中，将图像的色域拟合到显示器的色域中的过程称为色域映射，有几种方法可以实现这一点。

标题 色相偏移示意图（出现类似抖音特效的效果） 标题Sikudov´a等人提出的色域映射框架

 在HDR领域，Sikudova等人提出了这个问题的一般解决方案，它将色调映射与色域映射结合起来；见上图。这使得在动态范围压缩后，在目标显示色域内匹配颜色成为可能。

第一步是在XYZ颜色空间中对输入的HDR图像进行色调映射，其中范围压缩应用于亮度通道，仅获得。随后，将输入图像的原始XYZ值中的替换为Y，并进行归一化，使其最大值为100cd/m2。然后计算输入HDR图像和目标显示器的色域边界。此步骤确定源色域的像素是否在目标色域内外，并计算色域映射函数所需的映射方向。

4.2.3、颜色外观模型（CAM）

 一个颜色外观模型(Color Appearance Model，CAM)描述了HVS是如何适应不同的环境的，以及它将是如何在这些不同的环境中感知图像的。因此，它的主要焦点是颜色。

标题通用CAM的一个例子

 CAM的第一步是考虑到颜色的适应，这是使HVS能够适应照明的主导颜色的机制。然后，计算出与颜色的色度、色相等感知属性相关的颜色外观属性。一旦知道了外观属性，就可以反转CAM（inverse CAM），通过使用查看环境条件作为输入，就可以计算出这个新环境中的颜色。显示图像的观看环境之间的差异对观察者如何感知颜色外观起着重要的作用。已经提出了一些方法来考虑到这一点。

预处理HDR图像

Aky¨uz and Reinhard提出了一种将CAM的使用集成到色调映射的环境中的方案如下图。这里首先将CAM应用于原始HDR输入图像来预测颜色外观属性。然后，将颜色外观属性，以及将显示HDR输入图像的环境的新观看条件，作为反向CAM的输入，该CAM预测新观看环境的HDR输入图像的颜色刺激。在通过色调映射应用动态范围压缩步骤之前，反向CAM的输出用HDR输入图像的原始亮度重置，同时保留彩色信息。这最后一步是必要的，以消除CAM可能应用的任何亮度压缩。

上述的方案流程图

 

 颜色外观和色调映射

目前已经提出了几种CAM用于HDR图像复制。通常，它们在颜色空间中工作以改善对HVS机制的模拟，如LMS（用于锥的响应）、IPT（用于在统一颜色空间中处理）等。另一个共同的特性是使用一个sidmoid函数来压缩动态范围以模拟在HVS内发生的过程。

Pattanaik等人提出了第一个用于HDR图像复制的空间变化颜色外观模型(CAMs)。该CAM为视锥细胞的响应和视杆细胞的响应在LMS颜色空间中处理图像。它是基于先前的安排在一个连贯的框架内的心理物理学研究。其关键思想是视觉处理可以通过使用一堆高斯图像的差异来进行不同尺度的滤波来描述

iCAM06是一个基于iCAM02框架的CAM。由Kuang等人提出用于色调映射。该方法可以在XYZ颜色空间中工作。它还利用IPT颜色空间来预测Hunt效应，即亮度水平的增加导致感知颜色的增加。该方法对图像使用双边滤波器分解成细节层（高频）和基础层（低频）。这使得对细节层的处理可以模拟Steven效应——当亮度水平的增加时预测局部对比度的增加。

Kim和Kautz进行了一系列主观实验，以获得达到16860cd/m2的不同亮度水平的外观数据，即扩展亮度。这些实验与文献一致，但它们提供的数据是以前从未测试过的高亮度条件下的数据。根据这些数据，作者提出了一种新的全局颜色外观模型，该模型在高亮度水平下表现良好。该模型在LMS颜色空间中工作，并使用定制的sigmoid函数进行范围压缩；当校准后的图像需要在广泛的显示器和环境条件上可视化时，Reinhard等人的的CAM是有效的。事实上，大多数CAMs使用单个值来描述观看环境或显示器。然而，单个值可能还不够精确。Reinhard等人的CAM使用了更多的参数，如白点、最大亮度、自适应白点和自适应亮度来描述所拍摄图像的场景、观看环境和观看显示。此外，该方法可以利用中值切割算法来模拟亮度感知的局部方面。所有这些方面都导致了一个精确的外观幅值，能够消除设置环境参数和显示器参数时的猜测。

应用于运河HDR图像的以上三种CAMs的一个例子