MSE:Mean Square Error,均方误差,计算待评价图像和原始图像之间的差异。对于拼接融合图像来说,值越大说明质量越差。
QMSE:均值误差法。基于MSE提出的一种新的均方误差方法。
RMSE:均方根误差。同样,值越大说明拼接融合效果越差。
SNR:信噪比,信噪比越大,说明混在信号里的噪声越小,采集到的的信号质量越高
PSNR:峰值信噪比,分母为待评价图和原图像之间的能量差异,也相当于噪声,噪声越小越好,因此PSNR越大说明拼接融合质量越好。
SSIM:结构相似度,主要对图像对比度、亮度以及结构信息进行考量,值越大越相似,且最大值为1
熵值: 反映了图像中平均信息量的多少,在图像拼接融合中,熵值越大,说明拼接融合效果越好。
补充:MSE、RMSE、QMSE、SNR和PSNR都是基于灰度值对参考图和评价图进行运算。
如下公式,均方误差是值与参数真值之差平方的期望值(均值)。
在图像处理中,均方误差表示处理后图像像素值与原始像素值之差平方和的期望值。
图像尺寸为m*n,而i 和 j表示该某像素点的横纵坐标,I表示原图像(参考图像),K表示处理后的图像(评价图像)
我们给出下面图片,来计算它们的MSE均方误差。其中mn图片有重合部分更相似,r与mn无重复部分。我们依次进行验证
%计算相同的两张图像m的均方误差
%A是处理后的图像,ref为参考图像,可根据需要进行图像修改
A=imread('m.png');
ref=imread('m.png');
err = immse(A, ref);
fprintf('\n The mean-squared error is %0.4f\n', err);
如下符合要求,均方误差为0
同理 采用m n 两张图(有重合部分)进行均方误差计算为3283.4812,可看出两图间差别越大值越大。
采用 m r两张图(无重合部分),均方误差为3766.2645,说明差别更大,符合图片描述。
当我们进行全景图评价的时候,由于没有全景图的参考图,因此我们将输入的拼接左右图作为参考图,得到如下新的均方误差公式:
其中w为权重因子,当w = 1/2 时,为均值误差法,该值越小,说明差异越小,因此拼接全景图的质量越好。
同样采用mnr三张图片分别验证。
%输入两张相同的图片,其均方根误差为0,输入不同的两张图mn均方根误差为3.2835e+03,输入两张不同的图片mr为 3.7663e+03。
clc;
close all;
X = imread('m.png');% 读取图像
Y=imread('m.png');
figure;%展示图像
subplot(1, 3, 1); imshow(X); title('q1');
subplot(1, 3, 2); imshow(Y); title('q2');
% 使得图像每个像素值为浮点型
X = double(X);
Y = double(Y);
A = Y-X;
B = X.*Y;
%subplot(1,3,3);imshow(A);title('作差');
MSError = sum(A(:).*A(:))/numel(Y);% 均方根误差MSE,numel()函数返回矩阵元素个数
display(MSError);%均方根误差MSE
SNR为图像信噪比,图像的信噪比和图像的清晰度一样,也是衡量图像质量高低的重要指标。图像的信噪比是指视频信号的大小与噪波信号大小的比值
%信噪比说明混在信号里的噪声越小,因此输入mn图像(有重合区域),信噪比为6.7641;输入mr图像(无重合区域),信噪比为6.1683
clc;
close all;
X = imread('m.png');% 读取图像
Y=imread('n.png');
figure;% 展示图像
subplot(1, 3, 1); imshow(X); title('q1');
subplot(1, 3, 2); imshow(Y); title('q2');
% 使得图像每个像素值为浮点型
X = double(X);
Y = double(Y);
A = Y-X;
B = X.*Y;
MSError = sum(A(:).*A(:))/numel(Y);
SNR = 10*log10(sum(X(:).*X(:))/MSError/numel(Y));%信噪比SNR
display(MSError);%均方根误差MSE
display(SNR);%信噪比SNR
PSNR为峰值信噪比,即峰值信号的能量与噪声的平均能量之比,通常表示的时候取 log 变成分贝(dB),由于 MSE 均方误差为原图像与处理后图像之差的能量均值,而两者的差相当于噪声,因此 PSNR 即峰值信号能量与 RMSE (均方根误差)之比。其中,MAX是表示图像点颜色的最大数值,也就是灰度值的最大值,如果每个采样点用 8 位表示,那么就是 255。
%同样用图片mnr验证即可
clc;
close all;
X = imread('m.png');% 读取图像
Y=imread('r.png');
figure;% 展示图像
subplot(1, 3, 1); imshow(X); title('q1');
subplot(1, 3, 2); imshow(Y); title('q2');
% 使得图像每个像素值为浮点型
X = double(X);
Y = double(Y);
A = Y-X;
B = X.*Y;
RMSE = sum(A(:).*A(:))/numel(Y);% 均方根误差
PSNR = 10*log10(255^2/RMSE);% 峰值信噪比PSNR
display(PSNR);%峰值信噪比PSNR
SSIM为结构相似度,用来对两幅图像的亮度、对比度以及结构信息进行测量,其是一个0-1之间的数,最大值为1。尤其反映了图像的轮廓,细节等的相似度,很适合作为图像拼接的客观评价指标。当两幅图像一模一样时,SSIM=1。
上公式中的三项 l c s 分别代表三个特征(亮度,对比度以及结构)的占比。
ux和uy代表图像XY灰度统计均值。sigma xy 分别是处理图像的灰度值方差。C12为常数。L为像素值的动态范围。对于8比特255灰度图,其Ki 范围为0.01-0.03。
function [mssim, ssim_map] = ssim(img1, img2, K, window, L)
if (nargin < 2 | nargin > 5)
ssim_index = -Inf;
ssim_map = -Inf;
return;
end
if (size(img1) ~= size(img2))
ssim_index = -Inf;
ssim_map = -Inf;
return;
end
[M N] = size(img1);
if (nargin == 2)
if ((M < 11) | (N < 11)) % 图像大小过小,没有意义。
ssim_index = -Inf;
ssim_map = -Inf;
return
end
window = fspecial('gaussian', 11, 1.5); % 参数一个标准偏差1.5,11*11的高斯低通滤波。
K(1) = 0.01; % default settings
K(2) = 0.03;
L = 255;
end
if (nargin == 3)
if ((M < 11) | (N < 11))
ssim_index = -Inf;
ssim_map = -Inf;
return
end
window = fspecial('gaussian', 11, 1.5);
L = 255;
if (length(K) == 2)
if (K(1) < 0 | K(2) < 0)
ssim_index = -Inf;
ssim_map = -Inf;
return;
end
else
ssim_index = -Inf;
ssim_map = -Inf;
return;
end
end
if (nargin == 4)
[H W] = size(window);
if ((H*W) < 4 | (H > M) | (W > N))
ssim_index = -Inf;
ssim_map = -Inf;
return
end
L = 255;
if (length(K) == 2)
if (K(1) < 0 | K(2) < 0)
ssim_index = -Inf;
ssim_map = -Inf;
return;
end
else
ssim_index = -Inf;
ssim_map = -Inf;
return;
end
end
if (nargin == 5)
[H W] = size(window);
if ((H*W) < 4 | (H > M) | (W > N))
ssim_index = -Inf;
ssim_map = -Inf;
return
end
if (length(K) == 2)
if (K(1) < 0 | K(2) < 0)
ssim_index = -Inf;
ssim_map = -Inf;
return;
end
else
ssim_index = -Inf;
ssim_map = -Inf;
return;
end
end
if size(img1,3)~=1 %判断图像时不是彩色图,如果是,结果为3,否则为1
org=rgb2ycbcr(img1);
test=rgb2ycbcr(img2);
y1=org(:,:,1);
y2=test(:,:,1);
y1=double(y1);
y2=double(y2);
else
y1=double(img1);
y2=double(img2);
end
img1 = double(y1);
img2 = double(y2);
C1 = (K(1)*L)^2; % 计算C1参数,给亮度L(x,y)用。 C1=6.502500
C2 = (K(2)*L)^2; % 计算C2参数,给对比度C(x,y)用。 C2=58.522500
window = window/sum(sum(window)); %滤波器归一化操作。
mu1 = filter2(window, img1, 'valid'); % 对图像进行滤波因子加权 valid改成same结果会低
mu2 = filter2(window, img2, 'valid'); % 对图像进行滤波因子加权
mu1_sq = mu1.*mu1; % 计算出Ux平方值。
mu2_sq = mu2.*mu2; % 计算出Uy平方值。
mu1_mu2 = mu1.*mu2; % 计算Ux*Uy值。
sigma1_sq = filter2(window, img1.*img1, 'valid') - mu1_sq; % 计算sigmax (标准差)
sigma2_sq = filter2(window, img2.*img2, 'valid') - mu2_sq; % 计算sigmay (标准差)
sigma12 = filter2(window, img1.*img2, 'valid') - mu1_mu2; % 计算sigmaxy(标准差)
if (C1 > 0 & C2 > 0)
ssim_map = ((2*mu1_mu2 + C1).*(2*sigma12 + C2))./((mu1_sq + mu2_sq + C1).*(sigma1_sq + sigma2_sq + C2));
else
numerator1 = 2*mu1_mu2 + C1;
numerator2 = 2*sigma12 + C2;
denominator1 = mu1_sq + mu2_sq + C1;
denominator2 = sigma1_sq + sigma2_sq + C2;
ssim_map = ones(size(mu1));
index = (denominator1.*denominator2 > 0);
ssim_map(index) = (numerator1(index).*numerator2(index))./(denominator1(index).*denominator2(index));
index = (denominator1 ~= 0) & (denominator2 == 0);
ssim_map(index) = numerator1(index)./denominator1(index);
end
mssim = mean2(ssim_map);
return
在Matlab命令行窗口输入如下:
>> img1= imread('m.png'); %图片绝对路径
>> img2= imread('m.png'); %图片绝对路径
>> ssim(img1,img2)
此时得到结果为1,因为我们输入的是同一张图像,结构相似性最大,为1。验证了当两幅图像一模一样时,SSIM=1。
反映图像信息丰富程度。通常情况下,图像信息熵越大,其信息量就越丰富,质量越好。对于图像拼接融合来说,熵值越大融合越好。
分别对较好拼接和较差拼接进行熵值的计算。
较差拼接:(字母处出现重影模糊)
较好拼接:
clc
clear
close all
%---------------------------------
%求一幅图像的熵值
%---------------------------------
I=imread('较好拼接.jpg');
[C,L]=size(I); %求图像的规格
Img_size=C*L; %图像像素点的总个数
G=256; %图像的灰度级
H_x=0;
nk=zeros(G,1);%产生一个G行1列的全零矩阵
for i=1:C
for j=1:L
Img_level=I(i,j)+1; %获取图像的灰度级
nk(Img_level)=nk(Img_level)+1; %统计每个灰度级像素的点数
end
end
for k=1:G %循环
Ps(k)=nk(k)/Img_size; %计算每一个像素点的概率
if Ps(k)~=0 %如果像素点的概率不为零
H_x=-Ps(k)*log2(Ps(k))+H_x; %求熵值的公式
end
end
运行后,在命令框输入
H_x
较好拼接熵值:7.5314
较差拼接:7.5210
由此符合我们的分析,熵值越大,拼接效果越好。
除此之外,还有很多评价指标,比如互信息、平均梯度、信息比
互信息值越大说明融合图像信息越丰富。
平均梯度值越大则表明融合后图像越清晰,过渡更平滑自然。
信息比:表示全景图信息比,能近似反应全景图扭曲程度,信息比越小说明扭曲越严重。公式如下:
wh表示图像尺寸
全景图扭曲程度越大,那么全景图中包含的无用黑色像素也会变多,因此信息比参数变小,因此我们希望信息比参数越大越好。
参考