SSIM理解

1.向量相似性的计算

• 内积：
  $$I<x,y>=\sum _i{x}_i,y_i$$
  直观解释是：如果x大的地方y也比较大，x小的地方y也比较小，那么整体内积是偏大的，内积越大两个向量越相似。
• 余弦相似度：由于向量内积没有界限，一种解决办法是除以长度之后再求内积
  $$CosSim(x,y)=\frac{{\sum }_i{x}_i{y}_i}{\sqrt{{\sum }_i{x}_i^2}\sqrt{{\sum }_i{y}_i^2}}=\frac{<x,y>}{||x||||y||}$$
  余弦相似度与向量的幅值无关，只与向量的方向相关。
• 皮卡尔逊相关系数:余弦相似度受到向量的平移影响，上式如果将$x$平移到$x+1$余弦值就会改变，如何才能保证平移不变性，就是下面要说的皮卡尔逊相关系数:
  $$\mathrm{Corr}(x,y)=\frac{{\sum }_i\left(x_i-\overline{x}\right)\left(y_i-\overline{y}\right)}{\sqrt{\sum {\left(x_i-\overline{x}\right)}^2}\sqrt{\sum {\left(y_i-\overline{y}\right)}^2}}=\frac{⟨x-\overline{x},y-\overline{y}⟩}{\Vert x-\overline{x}\Vert \Vert y-\overline{y}\Vert }=\mathrm{cossim}(x-\overline{x},y-\overline{y}$$
  皮卡尔逊相关系数具有平移不变性和尺度不变性。

2. SSIM计算

比较两幅图像的结构相似性(structure similarity)，主要从三个方面进行比较:两度(luminance)$I(x,y)$, 对比度(constrast)$c(x,y)$和结构(structure)$s(x,y)$,最终$x$和$y$的相似度是这三者的函数:
$$S(x,y)=f\left(l(x,y),c(x,y),s(x,y)\right)$$
这三个度量相似性的公式遵循以下三个原则:

• 对称性: $s(x,y)=s(y,x)$
• 有界性: $s(x,y)\le 1$
• 极限值为1：$s(x,y)=1$当且仅当$x=y$

2.1亮度的计算

如果一个图像有$n$个像素点，每个像素的像素值为$x_i$，那么该图像的平均亮度为:
$${\mu }_x=\frac{1}{n}\sum _{i=1}^N{x}_i$$
可以用以下公式计算两幅图$x$和$y$的亮度相似度:
$$l(x,y)=\frac{2{\mu }_x{\mu }_y+C_1}{{\mu }_x^2+{\mu }_y^2+C_1}$$

2.1对比度的计算

对比度即图像明暗的变化剧烈程度，也就是像素值的标准差，其计算公式为:
$${\sigma }_x={\left(\frac{1}{N-1}\sum _{i=1}^n(x_i-{\mu }_x{)}^2\right)}^{1/2}$$
对比度相似度的计算公式为:
$$l(x,y)=\frac{2{\sigma }_x{\sigma }_y+C_1}{{\sigma }_x^2+{\sigma }_y^2+C_1}$$

2.1结构相似度的计算:

对一幅图像而言，其亮度和对比度均为标量，而其结构显然无法用一个标量表示，二是应该用该图所有像素组成的向量来表示，同时研究结构相似度是应排除亮度和对比度的影响，即排除均值和标准差的影响，即研究归一化的两个向量$(x-{\mu }_x)/{\sigma }_x$和$(y-{\mu }_y)/{\sigma }_y$之间的关系，两个向量的模长为$\sqrt{N-1}$因此他们的余弦相似度为:
$$s(x,y)=\left(\frac{1}{\sqrt{N-1}}\frac{x-{\mu }_x}{{\sigma }_x}\right)\left(\frac{1}{\sqrt{N-1}}\frac{y-{\mu }_y}{{\sigma }_y}\right)$$
$$s(x,y)=\frac{1}{{\sigma }_x{\sigma }_y}\left(\frac{1}{N-1}\sum _{i=1}^N(x_i-{\mu }_x)(y_i-{\mu }_y)\right)$$
上式中后一部分为协方差，结构相似度定义为:
$$s(x,y)=\frac{{\sigma }_{xy}}{{\sigma }_x{\sigma }_y}$$

最终SSIM是计算公式为:
$$\mathrm{SSIM}(\mathbf{x},\mathbf{y})=\frac{\left(2{\mu }_x{\mu }_y+C_1\right)\left(2{\sigma }_{xy}+C_2\right)}{\left({\mu }_x^2+{\mu }_y^2+C_1\right)\left({\sigma }_x^2+{\sigma }_y^2+C_2\right)}$$