Video Input with OpenCV and similarity measurement(使用opencv测量两个视频的相似度)
Video Input with OpenCV and similarity measurement(使用opencv测量两个视频的相似度)
参考示例程序及视频文件下载:
一.先决条件
1.两种检查相似度的方法
(1)PSNR:
psnr是“Peak Signal to Noise Ratio”的缩写，即峰值信噪比，是一种评价图像的客观标准，它具有局限性，一般是用于最大值信号和背景噪音之间的一个工程项目。
peak的中文意思是顶点。而ratio的意思是比率或比列的。整个意思就是到达噪音比率的顶点信号，psnr一般是用于最大值信号和背景噪音之间的一个工程项目。通常在经过影像压缩之后，输出的影像都会在某种程度与原始影像不同。为了衡量经过处理后的影像品质，我们通常会参考PSNR值来衡量某个处理程序能否令人满意。它是原图像与被处理图像之间的均方误差相对于(2n-1)2的对数值(信号最大值的平方，n是每个采样值的比特数)，它的单位是dB。 MATLAB用法的公式如下：
PSNR=10*log10((2^n-1)^2/MSE)
其数学公式如下图所示：
其中，MSE是原图像与处理图像之间均方误差。
psnr
Peak就是指8bits表示法的最大值255。MSE指MeanSquareError，I(角标n)指原始影像第n个pixel值，P(角标n)指经处理后的影像第n个pixel值。PSNR的单位为dB。所以PSNR值越大，就代表失真越少。
(2)SSIM:
SSIM(structural similarity index)，结构相似性，是一种衡量两幅图像相似度的指标。该指标首先由德州大学奥斯丁分校的图像和视频工程实验室(Laboratory for Image and Video Engineering)提出。SSIM使用的两张图像中，一张为未经压缩的无失真图像，另一张为失真后的图像。
**SSIM（structural similarity）**结构相似性，也是一种全参考的图像质量评价指标，它分别从亮度、对比度、结构三方面度量图像相似性。
其中ux、uy分别表示图像X和Y的均值，σX、σY分别表示图像X和Y的方差，σXY表示图像X和Y的协方差，即
C1、C2、C3为常数，为了避免分母为0的情况，通常取C1=(K1L)^2, C2=(K2L)^2, C3=C2/2, 一般地K1=0.01, K2=0.03, L=255. 则
SSIM取值范围[0,1]，值越大，表示图像失真越小.
在实际应用中，可以利用滑动窗将图像分块，令分块总数为N，考虑到窗口形状对分块的影响，采用高斯加权计算每一窗口的均值、方差以及协方差，然后计算对应块的结构相似度SSIM，最后将平均值作为两图像的结构相似性度量，即平均结构相似性MSSIM：
参考博客:
http://www.cnblogs.com/vincent2012/archive/2012/10/13/2723152.html
https://baike.baidu.com/item/SSIM
https://baike.baidu.com/item/psnr/2925132?fr=aladdin
2.VideoCapture
| Public Member Functions | |
|---|---|
| VideoCapture () | |
| Default constructor. More… | |
| VideoCapture (const String &filename) | |
| Open video file or a capturing device or a IP video stream for video capturing. More… | |
| VideoCapture (const String &filename, int apiPreference) | |
| Open video file or a capturing device or a IP video stream for video capturing with API Preference. More… | |
| VideoCapture (int index) | |
| Open a camera for video capturing. More… | |
| virtual | ~VideoCapture () |
| Default destructor. More… |
上面是四种打开方式,还有一个析构函数
官方文档网址:
https://docs.opencv.org/3.4.0/d8/dfe/classcv_1_1VideoCapture.html
二.示例代码详解
1.主要的函数声明
double getPSNR ( const Mat& I1, const Mat& I2);//计算PSNR
这个是计算PSNR,至于函数内部实现,参考先决条件中提到的内容以及官方文档中MSE做分母时为零的问题.
在考察压缩后的视频时，这个函数返回值大约在30到50之间，数字越大则表明压缩质量越好。如果图像差异很明显，就可能会得到15甚至更低的值。但是其呈现的差异值有时候和人的主观感受不成比例(就是当这个PSNR的返回值很小时可能肉眼看去相似度还是很高的),就需要用到下面的MSSIM。
ps:PSNR算法简单，检查的速度也很快
Scalar getMSSIM( const Mat& I1, const Mat& I2);//计算MSSIM
这个是计算MSSIM,MSSIM为SSIM的均值.
注意:MSSIM计算量比较大,所以比较两视频相似度时,先比较PSNR,如果PSNR < psnrTriggerValue,PSNR无法很好比较,此时采用MSSIM比较
2.实现代码时的命令行参数
./<可执行文件名> <原视频名> <处理后视频名>
example:
./opencv_example Megamind.avi Megamind_bugy.avi 30 10
运行截图:
三.示例代码(附注释)
#include " << endl
<< "--------------------------------------------------------------------------" << endl
<< endl;
}
int main(int argc, char *argv[])
{
help();
if (argc != 5)//传入五个字符串类型参数
{
cout << "Not enough parameters" << endl;
return -1;
}
stringstream conv;//流
const string sourceReference = argv[1], sourceCompareWith = argv[2];
int psnrTriggerValue, delay;
conv << argv[3] << endl << argv[4]; // put in the strings
conv >> psnrTriggerValue >> delay; // take out the numbers 将字符串转换为整型数据
int frameNum = -1; // Frame counter
VideoCapture captRefrnc(sourceReference), captUndTst(sourceCompareWith);//初始化读取两个视频
if (!captRefrnc.isOpened())//检测原视频是否成功打开
{
cout << "Could not open reference " << sourceReference << endl;
return -1;
}
if (!captUndTst.isOpened())//检测处理后的视频是否成功打开
{
cout << "Could not open case test " << sourceCompareWith << endl;
return -1;
}
//下面是获取视频的宽和高
Size refS = Size((int) captRefrnc.get(CAP_PROP_FRAME_WIDTH),
(int) captRefrnc.get(CAP_PROP_FRAME_HEIGHT)),
uTSi = Size((int) captUndTst.get(CAP_PROP_FRAME_WIDTH),
(int) captUndTst.get(CAP_PROP_FRAME_HEIGHT));
if (refS != uTSi)
{
cout << "Inputs have different size!!! Closing." << endl;
return -1;
}
const char* WIN_UT = "Under Test";
const char* WIN_RF = "Reference";
/****下面便是opencv的一些常规操作,窗口之类的****/
// Windows
namedWindow(WIN_RF, WINDOW_AUTOSIZE);
namedWindow(WIN_UT, WINDOW_AUTOSIZE);
moveWindow(WIN_RF, 400 , 0); //750, 2 (bernat =0)
moveWindow(WIN_UT, refS.width, 0); //1500, 2
cout << "Reference frame resolution: Width=" << refS.width << " Height=" << refS.height
<< " of nr#: " << captRefrnc.get(CAP_PROP_FRAME_COUNT) << endl;
cout << "PSNR trigger value " << setiosflags(ios::fixed) << setprecision(3)
<< psnrTriggerValue << endl;//保留三位小数
Mat frameReference, frameUnderTest;//矩阵
double psnrV;
Scalar mssimV;
for(;;) //Show the image captured in the window and repeat
{
captRefrnc >> frameReference;//写入矩阵
captUndTst >> frameUnderTest;
if (frameReference.empty() || frameUnderTest.empty())
{
cout << " < < < Game over! > > > ";
break;
}
++frameNum;
cout << "Frame: " << frameNum << "# ";
///////////////////////////////// PSNR ////////////////////////////////////////////////////
psnrV = getPSNR(frameReference,frameUnderTest);//计算PSNR
cout << setiosflags(ios::fixed) << setprecision(3) << psnrV << "dB";
//////////////////////////////////// MSSIM /////////////////////////////////////////////////
if (psnrV < psnrTriggerValue && psnrV)//当PSNR小于psnrTriggerValue时计算MSSIM来比较
{
mssimV = getMSSIM(frameReference, frameUnderTest);
cout << " MSSIM: "
<< " R " << setiosflags(ios::fixed) << setprecision(2) << mssimV.val[2] * 100 << "%"
<< " G " << setiosflags(ios::fixed) << setprecision(2) << mssimV.val[1] * 100 << "%"
<< " B " << setiosflags(ios::fixed) << setprecision(2) << mssimV.val[0] * 100 << "%";
}
cout << endl;
////////////////////////////////// Show Image /////////////////////////////////////////////
imshow(WIN_RF, frameReference);
imshow(WIN_UT, frameUnderTest);
char c = (char)waitKey(delay);
if (c == 27) break;
}
return 0;
}
double getPSNR(const Mat& I1, const Mat& I2)
{
Mat s1;
absdiff(I1, I2, s1); // |I1 - I2|
s1.convertTo(s1, CV_32F); // cannot make a square on 8 bits
s1 = s1.mul(s1); // |I1 - I2|^2
Scalar s = sum(s1); // sum elements per channel
double sse = s.val[0] + s.val[1] + s.val[2]; // sum channels
if( sse <= 1e-10) // for small values return zero
return 0;
else
{
double mse = sse / (double)(I1.channels() * I1.total());
double psnr = 10.0 * log10((255 * 255) / mse);
return psnr;
}
}
Scalar getMSSIM( const Mat& i1, const Mat& i2)
{
const double C1 = 6.5025, C2 = 58.5225;
/***************************** INITS **********************************/
int d = CV_32F;
Mat I1, I2;
i1.convertTo(I1, d); // cannot calculate on one byte large values
i2.convertTo(I2, d);
Mat I2_2 = I2.mul(I2); // I2^2
Mat I1_2 = I1.mul(I1); // I1^2
Mat I1_I2 = I1.mul(I2); // I1 * I2
/*************************** END INITS **********************************/
Mat mu1, mu2; // PRELIMINARY COMPUTING
GaussianBlur(I1, mu1, Size(11, 11), 1.5);
GaussianBlur(I2, mu2, Size(11, 11), 1.5);
Mat mu1_2 = mu1.mul(mu1);
Mat mu2_2 = mu2.mul(mu2);
Mat mu1_mu2 = mu1.mul(mu2);
Mat sigma1_2, sigma2_2, sigma12;
GaussianBlur(I1_2, sigma1_2, Size(11, 11), 1.5);
sigma1_2 -= mu1_2;
GaussianBlur(I2_2, sigma2_2, Size(11, 11), 1.5);
sigma2_2 -= mu2_2;
GaussianBlur(I1_I2, sigma12, Size(11, 11), 1.5);
sigma12 -= mu1_mu2;
///////////////////////////////// FORMULA ////////////////////////////////
Mat t1, t2, t3;
t1 = 2 * mu1_mu2 + C1;
t2 = 2 * sigma12 + C2;
t3 = t1.mul(t2); // t3 = ((2*mu1_mu2 + C1).*(2*sigma12 + C2))
t1 = mu1_2 + mu2_2 + C1;
t2 = sigma1_2 + sigma2_2 + C2;
t1 = t1.mul(t2); // t1 =((mu1_2 + mu2_2 + C1).*(sigma1_2 + sigma2_2 + C2))
Mat ssim_map;
divide(t3, t1, ssim_map); // ssim_map = t3./t1;
Scalar mssim = mean(ssim_map); // mssim = average of ssim map
return mssim;
}