【论文笔记】—低照度图像增强—零样本—RUAS网络—2021-CVPR

题目：Retinex-Inspired Unrolling With Cooperative Prior Architecture Search for Low-Light Image Enhancement

DOI：10.1109/CVPR46437.2021.01042

时间：2020年12月10号上传于arxiv
会议：2021CVPR
机构：大连理工大学

论文网址： CVPR 2021 Open Access Repository
代码网址： https://github.com/dut-media-lab/RUAS

关键词： 低光照图像增强、Retinex、NAS、无参考双层学习、结构搜索

提出问题：已经建立的深度学习模型大多依赖于重要的体系结构工程，并且承受着很高的计算负担。

解决方案：
本文提出了一个新的原则性框架，通过注入弱光图像的知识和搜索轻量级的优先架构，为现实场景中的微光图像构建轻量级但有效的增强网络，命名为RUAS。

首先，设计了基于Retinex规则的优化模型，来描述微光图像固有的曝光不足结构。
然后，通过展开相应的优化过程，建立增强网络的整体传播结构。
最后，设计了一种合作的无参考双层学习策略，用于合作搜索先验结构，从紧凑的搜索空间中发现特定的体系结构，以获得照明图和所需图像。

创新点：
1、零样本，不需要训练。
2、使用了结构搜索的方法，得到一个高效的网络结构。

Retinex原理：    S = R * L     S-捕获图像   R-反射图像             L-光照图像
本文：                 y = x * t       y-捕获图像    x-期望的恢复图像   t-光照图像

RUAS网络基本组件：
首先通过展开Retinex-inspired 模型的优化过程来建立增强网络。然后，引入了一个基于蒸馏池的先验模块搜索空间。最后，提出了一种合作的双层搜索策略，以发现所需的光照估计和噪声去除架构。

（a）照明估计模块IEM——用于估计照明映射t
（b）噪声去除模块NRM——用于微光场景中抑制噪声，NRM是基于IRM的输出定义的。
（c）热启动操作
（d）CIEM和CNRM的搜索空间
（e）element-wise subtraction—逐元素减法、element-wise division—逐元素划分

1、Retinex-Inspired 优化展开

RUAS增强网络基于Retinex规则：

y-捕获图像、x-期望的恢复图像、t-光照图像、⊗ 按元素的乘法

1.1 照明估计模块IEM

原理：照明至少是某个位置的最大值，可以用来处理非均匀照明。在传播过程中自适应地抑制^tk的一些过度曝光像素。

定义一个中间图像u。在IEM的第k阶段，首先估计初始照明图^tk：

tk是最后阶段的估计照度图, ⊘表示按元素划分, Ω(z) 是以像素z为中心的区域, c是该区域内的位置索引（对于三个颜色通道）。

残差：rk = uk – y (惩罚参数0 < γ ≤ 1)

进一步优化^tk →照明热启动^tk，其中  表示t的正则化项

不同于直接和前一项作用的经典迭代优化方法，本文只需一步。

其中，参数由CNN构架CIEM(tk)得到。

 输出：

将每个迭代参数化为单独的CNN提供了极大的灵活性。

1.2 噪声去除模块NRM

抑制现实世界低光场景中的噪声，而不是简单地通过预/后处理去除曝光不足图像中的强噪声。

定义了一个正则化模型：

其中ψ表示x上的先验正则化。采用IEM中使用的相同展开策略，

其中，参数由CNN构架CNRM(xn)得到。

2、协同架构搜索

作用：用于合作发现IEM和NRM的体系结构。

2.1 适用于低亮度优先的紧凑搜索空间

首先定义弱光优先模块（CIEM和CNRM）的搜索空间。通过使用特征提取技术[17]，我们将搜索空间定义为一个蒸馏单元，它是一个有向无环图，有五个节点，每个节点连接到下一个和最后一个节点(如图2(d))。与最后一个节点的连接只是实现了特征信息的提取。

通过采用differentiable NAS[16,39,15] 中使用的连续松弛技术，我们引入向量化形式 α = {αt, αn} 来分别对 CIEM 和 CNRM 的搜索空间（表示为 A）中的架构进行编码。 用 ω = {ωt, ωn} 表示与架构 α 相关的权重参数。搜索任务简化为在所有混合运算中联合学习α和ω。

2.2 可微分合作搜索

传统：基于梯度的NAS方法——只能以端到端的方式学习ω和α，完全忽略了重要的光增强因素（照明和噪声）

本文：通过合作搜索IEM和NRM的体系结构。

将这两个模块的搜索过程描述为一个合作博弈，旨在解决以下关于αt（IEM）和αn（NRM）的模型：

我们将Lval表示为验证数据集上的合作损失，即：

由于NRM是基于IEM的输出定义的（参见图2），因此在这里我们还应该考虑αt作为Lval^n中αn的参数。事实上，通过类比生成性对抗性学习任务[7]，应该理解等式（4）中的优化问题实际上考虑的是合作（“min-min”），而不是对抗性（“min-max”）目标。

至于ω∗t（和ω）∗n），我们假设它们只与体系结构αt（和αn）相关, 可通过最小化以下模型获得：

其中，Ltr^t和Ltr^n分别是IEM和NRM的训练损失。

因此，我们的搜索策略意味着一个两层优化问题，等式（4）和等式（6）分别作为上层和下层子问题。此外，在搜索过程中，等式（4）中的上层子问题应进一步分离为两个合作任务。

2.3 无参考双层学习

首先根据一系列无参考损失确定培训和验证目标。

对于IEM，定义了一个损失

在训练和验证数据集上分别为Ltr^t和Lval^t，其中，第一项是保真度，第二项中RTV（·）表示相对总变化项[38]（参数ηt>0）。

这种损失鼓励IEM输出照明，可以同时保持整体结构和平滑纹理细节。

对于NRM，引入了类似的损耗

在训练和验证数据集上分别为Ltr^n和Lval^n，其中我们使用标准总变化TV（·）作为正则化[25]（参数ηn>0）。

整个搜索过程总结： IEM和NRM是交替同时搜索的。

也就是说，为IEM（步骤4-7）更新αt（使用当前的αn），为NRM（步骤9-12）更新αn（基于更新的αt）。对于每个模块，仅采用广泛使用的一步有限差分技术[5]来近似计算上层变量的梯度（步骤5和10）。

客观评价：

表1定量结果评价（PSNR、SSIM、LPIP）。No.1红色，No.2蓝色。
其中LOL数据集包含阻碍增强的敏感噪声。

不同数据集上和其他方法对比：

图3 DarkFace数据集上展示了黑暗面数据集上的三组视觉比较[41]。
虽然有些方法能够成功地增强亮度，但它们无法恢复清晰的图像纹理。

图4 LOL数据集上所有比较的方法都没有呈现出生动真实的颜色。
KinD和DRBN确实消除了噪声，但引入了一些未知的伪影。
本文RUAS呈现了生动的颜色，并消除了不必要的噪音。

图5 ExtremelyDarkFace数据集上一些深层网络确实改善了亮度，但许多不利的人工制品变得明显可见。
FIDE和DRBN甚至破坏了颜色系统，例如外套应该是红色的。
本文RUAS改善了亮度，在细节恢复和噪声消除方面都有很大优势。

验证内存和计算效率：

表2 和一些最近提出的基于CNN的方法比较模型大小、触发器和运行时间。
选取LOL数据集中的100个大小为600×400的测试图像。No.1红色，No.2蓝色。

下图表示LOL数据集上各模型的平均定量性能（PSNR）、模型大小（a）、失败率（b）。
RUASt+n是带有噪音消除模块的完整版本。尽管其耗时略高于EnGAN，但这是因为EnGAN忽略了引入显式噪声消除模块。
结论：RUTSi只需要非常小的模型大小、失败次数和时间。

分析和讨论：

图6 消融研究不同热启动策略的效果。
子图（b）-（d）不同设置的增强结果和相应的估计照明图。
（c）引入w/o剩余校正的更新策略确实提供了正的过度曝光抑制。
（d）引入残余校正机制，暴露更舒适（灯罩）
结论：本论文设计的热启动策略确实抑制了传播过程中的过度曝光。

图7 噪声场景下NRM对微光图像贡献的消融研究。
在执行RUASi后，图像细节得到了增强。然而，也出现了可见的噪声，对图像质量造成了有害的损害。通过引入NRM，本文的 RUASi+n成功地去除了不需要的噪声，从而提高了视觉质量和数值分数。
结论：该实验充分验证了在一些复杂的现实场景中引入NRM的必要性。

图8 在MIT Adobe 5K数据集上使用不同的启发式设计架构分析性能。

结论：本论文的搜索架构实现了最高的峰值信噪比（PSNR）和更少的推理时间。

图9 对不同的搜索策略进行了评估。
单独的搜索策略——逐个搜索这两个部分。在搜索NRM时，IEM的搜索过程已经结束。
简单的联合搜索——将IEM和NRM视为整个架构的一部分，只需搜索一次所有架构。
结论：本文搜索到的NRM包含更多的剩余卷积和跳连接。本文的搜索策略确实将光照估计和去噪连接起来，以实现有价值的合作。

延伸知识

Neural Architecture Search(NAS)-神经构架搜索

【强化学习 107】Neural Architecture Search - 知乎

知识蒸馏

知识蒸馏基础篇（经典论文）_刘大壮_的博客-CSDN博客_知识蒸馏论文

深度学习中的知识蒸馏技术（上） - 知乎

深度学习中的知识蒸馏技术(下)_风度78的博客-CSDN博客