图像去雪去雨去雾算法学习记录

研究意义

通常情况下，不同天气条件下拍摄出的户外图像中一般都会包含反映天气类型的因素如雨、雪、雾、阴影等。图像清晰化的目标就是要去除图像中这些影响图像视觉效果的因素，以便获取清晰的户外图像。随着天气信息处理技术研究的深入，图像清晰化问题逐渐从相关视觉任务中分离出来成为独立的研究方向。

户外图像中的雾会造成图像的模糊，雨会造成图像的形变，阴影会造成图像的
降质，雪会造成图像中部分物体不可见。

自动驾驶中的意义

在快速发展的自动驾驶领域，视觉系统作为自动驾驶技术的基础部分，所处理的图像都是来自于户外场景中的图像，各种天气类型会广泛地出现在所处理的图像中，如果不能准确地检测出天气类型并进行清晰化处理，车辆行驶过程中的道路可能会被错误地识别并且道路上的行人、车辆等目标还可能会被忽视，这不仅会降低自动驾驶系统的性能，更会威胁到行人和乘客的安全，导致不可预计的后果。

研究现状

目前国内外已有的图像清晰化方法都是针对单一天气类型进行的，如图像去雾、去雨和去阴影方法都只能处理具有某种特定因素的户外图像，缺乏能够同时去除雨、雪、雾、阴影等不同因素的普适性图像清晰化模型，距视觉系统能够自适应进行图
像清晰化处理的实用要求尚有差距

户外图像去雨雪方法研究现状

已有的户外图像去雨雪方法可分为基于滤波思想的方法、基于先验知识的方法以及基于深度学习思想的方法三类：

基于滤波思想的户外图像去雨雪方法

基于滤波思想的去雨雪方法根据雨雪在户外图像中的几何信息以及光学信息设计相应滤波算法实现对户外图像中雨雪的去除。

基于先验知识的户外图像去雨雪方法

基于先验知识的去雨雪方法其核心思想是深入挖掘雨雪在图像中所呈现出的颜色、外观、频率等特性，并根据挖掘出的雨雪特性作为先验知识，设计相应的去雨雪方法。

基于深度学习思想的去雨雪方法

基于深度学习思想的去雨雪方法通过大量有雨雪图像及其对应的 Ground Truth训练卷积神经网络，从而获取有雨雪图像和去雨雪图像之间的映射关系，并通过所获取的映射关系实现对任意户外图像中雨雪的去除。
Liu 等人对雪的颜色和色差进行探索，可处理透明和半透明的雪，并基于多尺度思想构造名为 DeSnowNet 的卷积神经网络，构造有雪图像和去雪图像之间的映射关系。

户外图像去雾方法研究现状

户外图像去雾方法可分为基于图像增强的去雾方法、基于先验知识的去雾方法以及基于学习思想的去雾方法三类。
其中，基于图像增强的去雾方法主要根据通用的图像处理技术去除户外图像中的雾。
基于先验知识的去雾方法通过总结雾在户外图像中所具有的特征，并根据所发掘出的特征设计相应的去雾方法。
基于学习思想的去雾方法主要通过机器学习思想和大量数据学习有雾图像和去雾图像之间的映射关系，从而实现对户外图像雾的去除。

基于图像增强的户外图像去雾方法

基于图像增强技术的去雾方法通常不考虑雾在户外图像中的成因，而是通过例如调整有雾图像的对比度、饱和度、颜色、明度和锐度等信息，减小雾对于户外图像视觉效果的影响。

例如，学者们发现光源受到空气中悬浮水滴或粒子散射的影响，此种情况下有雾图像呈现出较低的对比度和较大的亮度，因此全局直方图均衡化方法]可有效提升有雾图像的对比度，从而减轻雾对于户外图像视觉效果的影响。

虽然基于图像增强方案的去雾方法可去除图像中的雾，但是这类方法缺乏对雾在图像中的成因以及有雾图像视觉效果退化的机理，从而这类方法总体去雾效果有待提升。

基于先验知识的户外图像去雾方法

与基于图像增强的去雾方法思路不同，基于先验知识的去雾方法通过分析图像中雾的形成原因及分布特性，总结出图像中雾所具有的特征并将特征作为先验知识，从而设计具体的去雾方法。
其中，以暗通道先验为代表。

虽然基于先验知识的去雾方法有效提升了户外图像去雾的效果，但是这类方法
通常需要在一定的约束条件下才能够实现较好的去雾效果，因此具有一定的局限性
且利用先验知识去雾后的图像会存在一定的伪影现象。

基于学习思想的户外图像去雾方法

Mccartney 等人对大气粒子对光照散射情况进行了深入研究，并结合大气粒子所具有的物理特性对其影响图像视觉效果的因素进行了深入剖析从而提出衰减模型。
Narasimhan 等人进一步对衰减模型研究，结合大气粒子的米氏散射分析户外图像视觉效果下降的因素，从而提出了大气散射模型，该模型为诸多去雾方法提供了理论依据。
而基于学习思想应用大气散射模型的去雾方法主要通过训练样本获取有雾图像对应的透射图和全局大气光值，并将透射图和全局大气光值输入到大气散射模型从而实现去雾。