立体匹配中的评价指标

立体匹配中的评价指标

记录立体匹配中的评价指标，包括视差估计指标、图像相似度指标、光流估计指标等。

点击这里 查看jupyter notebook

图像相似度指标

PSNR（Peak Signal-to-Noise Ratio）峰值信噪比

skimage-mse接口地址

skimage-psnr接口地址

定义：给定一个大小为$m\times n$的干净图像I和噪声图像K

• 均方误差MSE定义为：

$$MSE=\frac{1}{mn}\sum _{i=0}^{m-1}\sum _{j=0}^{n-1}[I(i,j)-K(i,j){]}^2$$

• 峰值信噪比PSNR定义为：

$$PSNR=10\dot{l}o{g}_{10}(\frac{MA{X}_I^2}{MSE})$$

像素值取0-255时$MA{X}_I=255$，像素值取0-1时$MA{X}_I=1$

python中可以调用psnr = skimage.metrics.peak_signal_noise_ratio(im1, im2, 255)

SSIM（Structural SIMilarity）结构相似性

结构相似性更符合人类评价标准。

SSIM 研究主页

SSIM 论文

skimage-ssim接口地址

定义：对比样本$x$和$y$的亮度（luminance)、对比度（contrast）和结构(structure)。

• 亮度、对比度和结构三个分量对比计算公式：

$$l(x,y)=\frac{2{\mu }_x{\mu }_y+c_1}{{\mu }_x^2+{\mu }_y^2+c_1}$$

$$c(x,y)=\frac{2{\sigma }_x{\sigma }_y+c_2}{{\sigma }_x^2+{\sigma }_y^2+c_2}$$

$$s(x,y)=\frac{{\sigma }_{xy}+c_3}{{\sigma }_x{\sigma }_y+c_3}$$

• 结构相似性SSIM计算公式：

$$SSIM=[l(x,y{)}^{\alpha }c(x,y{)}^{\beta }\dot{s}(x,y{)}^{\gamma }]$$

取$\alpha =\beta =\gamma =1$

$$SSIM=\frac{(2{\mu }_x{\mu }_y+c_1)(2{\sigma }_{xy}+c_2)}{({\mu }_x^2+{\mu }_y^2+c_1)({\sigma }_x^2+{\sigma }_y^2+c_2)}$$

SSIM最大值为1

$c_3$、$\alpha$、$\beta$和$\gamma$是超参数，经验参考值如：$c_3=c_2/2、\alpha =\beta =\gamma =1$

${\mu }_x、{\mu }_y$为$x$和$y$的均值，${\sigma }_{xy}$为$x$和$y$的协方差，${\sigma }_x^2、{\sigma }_x^2$为$x$和$y$的方差

常数$c_1=(k_{1}L{)}^2,c_2=(k_{2}L{)}^2$可以避免分母为0，$k_1=0.01,k_2=0.03$为默认值，$L=2^B-1$为图片像素的取值范围，$B$为图像位数。

python中可以调用ssim = skimage.metrics.structural_similarity(im1, im2, 255)

每次计算的时候都从图片上取一个的窗口，然后不断滑动窗口进行计算，最后取平均值作为全局的 SSIM。

针对超光谱图像，我们需要针对不同波段分别计算 SSIM，然后取平均值，这个指标称为 MSSIM。

MS-SSIM（Multi-scale Structural SIMilarity）多尺度结构相似性

MS-SSIM 论文

pytorch-msssim源码Github地址

pytorch-msssim包地址

图片按照一定规则，由大到小缩放，下面是MS-SSIM的计算过程图：

计算公式如下：

$$MS-SSIM(x,y)=[l_M(x,y){]}^{{\alpha }_M}\ast \prod _{j=1}^M([c_j(x,y){]}^{{\beta }_j}\ast [s_j(x,y){]}^{{\gamma }_j})$$

M一般取5，也就是缩小4次的尺度加上原始尺度，共5个尺度

${\alpha }_M,{\beta }_j,{\gamma }_j$为相关重要性权重：

• ${\alpha }_M$表示最后一个尺度的亮度相关重要性权重

• $\beta j$表示第j个尺度的对比度相关重要性权重

• $\gamma j$表示第j个尺度的结构相关重要性权重

论文中这些参数标定为：${\beta }_1={\gamma }_1=0.0448,{\beta }_2={\gamma }_2=0.2856,{\beta }_3={\gamma }_3=0.3001,{\beta }_4={\gamma }_4=0.2363,{\alpha }_5={\beta }_5={\gamma }_5=0.1333$

TODO …