IAYOLO论文阅读笔记——恶劣天气下的目标检测

论文地址：https://arxiv.org/abs/2112.08088

代码地址：https://github.com/wenyyu/Image-Adaptive-YOLO

本文主要针对恶劣天气下的目标检测。

动机：虽然目前的目标检测器都取得了不错的成绩，但是这写检测器大多都是在清晰图像上进行训练和评估的。而在现实世界中，图像并不总是清晰的，比如在自动驾驶领域肯定会遇到有雾或者低光照的场景。在这样的场景下如果采用之前的目标检测算法，结果可能不尽人意。

创新点：针对以上问题，本文提出了（1）一个图像处理模块用于图像增强.（2）采用混合训练的方法对模型进行训练。

         从上图中可以看到，论文提出的模型在foggy条件下检测的效果确实比baseline（YOLO v3）好。

模型：本文提出的模型是一个端到端的。从下图中可以看到DIP Module （可微图像处理模块）共有6个滤波器，而这些滤波器的参数PN是由CNN-PP 模块进行预测，其中CNN-PP模块就是普通的卷积层和全连接层。在这里由于模型是端到端的，所以CNN-PP模块并不需要单独训练，而是根据后面的检测头YOLO v3的loss进行更新学习。 

        CNN-PP Module：

                we propose to employ a small CNN as a parameter predictor to estimate the         hyperparameters, which is very efficient.Given an input image of any resolution, we simply         use bilinear interpolation to downsample it to 256 × 256 resolution. As shown in Fig. 2, the         CNN-PP network is composed of five convolutional blocks and two fully-connected layers.         Each convolutional block includes a 3 × 3 convolutional layer with stride 2 and a leaky         Relu. The final fully-connected layer outputs the hyperparameters for the DIP module.          The output channel of these five convolutional layers are 16, 32, 32, 32 and 32,respectively.         The CNN-PP model contains only 165K parameters when the total number of parameter is         15.

      上文是论文中的原文，从文中描述的可以看到：CNN-PP包含5个从convolutional    block和2个个fully connected。其中每个convolutional  block包含一个3*3步长为2的卷积层和一个leaky relu激活函数。每个卷积层的输出通道数为16，32，32，32，32。最终预测出的参数PN由全连接层输出。在这里CNN-PP的输入图像大小是255*255*3的，因为作者在文中提到，大图像会造成大的计算量。最后一句作者所CNN会预测15个DIP的参数。

        DIP Module：这个模块就是一个可微的图像处理模块，一共有6个。上面说NN会预测15个DIP的参数，所以对应于公式，可以看到，defog 1个，WB 3个，Gamma 1个，Tone 8个，contrast 1个，Sharpen 1个。

        首先这里的Pi就是源图像的像素值。

         1：对于WB和Gamma其实就是简单的乘法和幂运算。

         2：contrast：​​​​​​​​​​​​​​参数为α，计算公式入下图所示，其中En由公式（1）（2）（3）计算所得：

 

 

         3：Tone:

 ​​​​​​​

         4：sharpen：Gau是高斯滤波，I(x)是源图像是要学习的参数。

        5：defog:

 从上面的公式看到，要想得到清晰图关键就是要算t(x)和A。其中A是算要处理的图像的前1000个最亮像素的平均值。而t(x)由下列公式算得，其中是要优化的参数。

 

 

算 法：可以看到在训练时每个batch中的图像有2/3的概率加雾和生成低光照图像。其中加雾的等级有10级，每一级对应的加雾程度不一样。