图像融合定量指标分析

① 熵/Entropy/EN

  熵表示一张图像包含信息的丰富程度。公式如下：
$$H=-\sum _{i=0}^{L-1}{p}_i{\log }_2{p}_i$$

熵的变化	意义
$\uparrow$	图像包含信息更多。
$\downarrow$	图像包含信息更少。

  对于一张灰度图，像素的取值为0-255，那么$L=256$。$p_i$表示灰度值为$i$的概率，可以由灰度值为$i$的像素个数$N_i$与所有像素数目$N$之比计算，即$p_i=\frac{N_i}{N}$。对于RGB图像一般是将其转为灰度图再计算熵。

② 交叉熵/Cross Entropy/CE

  交叉熵表示生成图像与源图像信息的差异。其中$A$是源图像，$B$是生成图像，公式如下：
$$C{E}_{A,B}=\sum _{i=0}^{L-1}{p}_{Ai}\log \frac{p_{Ai}}{p_{Bi}}$$

交叉熵的变化	意义
$\uparrow$	生成图像与源图像差异更大。
$\downarrow$	生成图像与源图像差异更小。

  如果源图像有多张，例如可见光与红外图像的融合，由两张源图像$A、B$生成一张图像$F$则：
$$\begin{gathered} C{E}_{A,F}=\sum _{i=0}^{L-1}{p}_{Ai}\log \frac{p_{Ai}}{p_{Fi}} \\ C{E}_{B,F}=\sum _{i=0}^{L-1}{p}_{Bi}\log \frac{p_{Bi}}{p_{Fi}} \end{gathered}$$
  可以统一计算平均交叉熵$MCE$和均方根平均交叉熵$RCE$：
$$\begin{gathered} MCE=\frac{C{E}_{A,F}+C{E}_{B,F}}{2} \\ RCE=\sqrt{\frac{C{E}_{A,F}^2+C{E}_{B,F}^2}{2}} \end{gathered}$$

③ 相关熵/Mutual Information/MI

  相关熵或相关信息量$MI$是反应生成图像和源图像的像素分布的相似程度。其中$A$是源图像，$B$是生成图像，公式如下：
$$MI(A,B)=\sum _{a=1}^{L-1}\sum _{b=1}^{L-1}{p}_{B,A}(b,a){\log }_2\frac{p_{B,A}(b,a)}{p_B(b)p_A(a)}$$
  其中$p_{B,A}$表示$B、A$的联合概率密度。对于$p_A$或者$p_B$来说，一共有$\{0,1,...,255\}$共256个像素取值的概率，对于$p_{B,A}$来说，一共有256×256个像素取值的概率，分别为$\{(0,0),(0,1),...,(255,255)\}$。

相关熵的变化	意义
$\uparrow$	生成图像与源图像更相似。
$\downarrow$	生成图像与源图像更不同。

  如果源图像有多张，例如可见光与红外图像的融合，由两张源图像$A、B$生成一张图像$F$则：
$$\begin{gathered} MI(A,F)=\sum _{a=1}^{L-1}\sum _{f=1}^{L-1}{p}_{F,A}(f,a){\log }_2\frac{p_{F,A}(f,a)}{p_F(f)p_A(a)} \\ MI(B,F)=\sum _{b=1}^{L-1}\sum _{f=1}^{L-1}{p}_{F,B}(f,b){\log }_2\frac{p_{F,B}(f,b)}{p_F(f)p_B(b)} \end{gathered}$$
  可以计算源图像与生成图像的$MI$：
$$MI(A,B,F)=MI(A,F)+MI(B,F)$$

④ 标准差/Standard Deviation/SD

  图像的标准差表示图像的像素值相对于图像平均像素值的偏移程度。
$$SD=\sqrt{\frac{1}{MN}\sum _{i=0}^{M-1}\sum _{j=0}^{N-1}(x_{i,j}-\mu {)}^2}$$
  其中$x_{i,j}$表示在$(i,j)$处的像素值，$\mu =\frac{1}{MN}{\sum }_{i=0}^{M-1}{\sum }_{j=0}^{N-1}{x}_{i,j}$也就是平均像素值。

标准差的变化	意义
$\uparrow$	生成图像像素值更分散。
$\downarrow$	生成图像像素值更集中。

⑤ 平均梯度/Mean Gradient/MG

  平均梯度能够反映图像的纹理信息。一张$M\times N$的图像，平均梯度计算如下：
$$MG=\frac{1}{(M-1)(N-1)}\sum _{i=2}^M\sum _{j=2}^N\sqrt{\frac{(x_{i,j}-x_{i-1,j}{)}^2+(x_{i,j}-x_{i,j-1}{)}^2}{2}}$$

平均梯度的变化	意义
$\uparrow$	像素的变化率更大，图像更清晰。
$\downarrow$	像素的变化率更小，图像更模糊。

⑥ 空间频率/Spatial Frequency/SF

  $SF$是基于图像梯度反应图像的细节和纹理，与平均梯度基本相同。首先计算横向频率$RF$和纵向频率$CF$再计算$SF$：
$$\begin{gathered} RF=\sqrt{\sum _{i=1}^M\sum _{j=2}^N(x_{i,j}-x_{i,j-1}{)}^2} \\ CF=\sqrt{\sum _{i=2}^M\sum _{j=1}^N(x_{i,j}-x_{i-1,j}{)}^2} \\ SF=\sqrt{R{F}^2+C{F}^2} \end{gathered}$$

空间频率的变化	意义
$\uparrow$	边缘纹理信息更丰富。
$\downarrow$	边缘纹理信息更缺乏。

⑦ 峰值信噪比/Peak signal-to-noise ratio/PSNR

  $PSNR$是通过峰值功率与噪声功率之比来反映失真的度量：
$$PSNR=10\lg \frac{r^2}{MSE}$$
其中$r$是融合图像的峰值，一般设置为256。$MSE$是测量融合图像与源图像之间差异的均方误差，定义如下：
$$\begin{gathered} MSE={\omega }_{a}MS{E}_{af}+{\omega }_{b}MS{E}_{bf} \\ MS{E}_{xf}=\frac{1}{MN}\sum _{i=0}^{M-1}\sum _{j=0}^{N-1}(x_{i,j}-f_{i,j}{)}^2 \end{gathered}$$

峰值信噪比的变化	意义
$\uparrow$	融合过程的失真更小，融合图像与源图像更相似。
$\downarrow$	融合过程的失真更大，融合图像与源图像更不同。

⑧ 相关系数/Correlation coefficient/CC

  $CC$反映源图像和融合图像之间的线性相关程度。它定义为：
$$\begin{gathered} CC={\omega }_a{r}_{af}+{\omega }_b{r}_{bf} \\ {r}_{xf}=\frac{{\sum }_{i=0}^{M-1}{\sum }_{j=0}^{N-1}(x_{i,j}-{\mu }_x)(f_{i,j}-{\mu }_f)}{\sqrt{{\sum }_{i=0}^{M-1}{\sum }_{j=0}^{N-1}(x_{i,j}-{\mu }_x{)}^2{\sum }_{i=0}^{M-1}{\sum }_{j=0}^{N-1}(f_{i,j}-{\mu }_f{)}^2}} \\ {\mu }_x=\frac{1}{MN}\sum _{i=0}^{M-1}\sum _{j=0}^{N-1}{x}_{i,j} \end{gathered}$$

相关系数的变化	意义
$\uparrow$	融合图像与源图像更相似。
$\downarrow$	融合图像与源图像更不同。

⑨ 结构相似度准则/Structural similarity index measure/SSIM

  $SSIM$是广泛使用的度量标准，它根据两个图像在亮度，对比度和结构上的相似性。从数学上讲，图像$x$和$y$之间的$SSIM$如下定义：
$$\begin{gathered} SSI{M}_{xy}=l_{xy}\times c_{xy}\times s_{xy} \\ {l}_{xy}=\frac{2{\mu }_x{\mu }_y+C_1}{{\mu }_x^2+{\mu }_y^2+C_1} \\ {c}_{xy}=\frac{2{\sigma }_x{\sigma }_y+C_2}{{\sigma }_x^2+{\sigma }_y^2+C_2} \\ {s}_{xy}=\frac{{\sigma }_{xy}+C_3}{{\sigma }_x{\sigma }_y+C_3} \end{gathered}$$
其中${\mu }_x、{\mu }_y$是图像$x、y$的平均像素值，${\sigma }_x、{\sigma }_y$是图像$x、y$的标准差，${\sigma }_{xy}$是图像$x、y$的协方差，$C_1、C_2、C_3$是稳定算法的参数。
  如果源图像有多张，例如可见光与红外图像的融合，由两张源图像$A、B$生成一张图像$F$则：
$$SSIM={\omega }_{A}SSI{M}_{AF}+{\omega }_{B}SSI{M}_{BF}$$

结构相似度准则的变化	意义
$\uparrow$	融合图像与源图像更相似。
$\downarrow$	融合图像与源图像更不同。

⑩

$FM{I}_{pixel}$
$FM{I}_{dct}$
$FM{I}_w$
$Q_{abf}$
$N_{abf}$
$SCD$
$VIF$