音视频质量分析解析

       随着语音、电视和数据的融合，所有屏幕（电视、PC和移动）都需要多重分辨率和处理方法。因此，数字内容分发的需求急剧增加。从MPEG-2到MPEG-4以及现在的HEVC的压缩方案不断发展。jpeg 2000和av1增加了对能够正确分析和跟踪结果的工具的需求。

     今天的数字媒体可以以非常高的分辨率和帧速率生产和交付，前提是一个人有足够的存储空间和所需的吞吐量并通过卫星、互联网、有线蜂窝或空中广播等主机交付网络。每种方法都有其特点和局限性。因此，对于产品开发人员、内容创建者和媒体交付网络来说，最重要的任务是创建一种产品或服务，使尽可能多的程序以最高质量适应可用带宽，并避免低质量。

为此，必须对人的感知视频和音频质量进行分析。有两种方法可以做到这一点：
1.对有问题/困难的流进行深入分析，判断感知到的视频或音频质量
2.进行长时间测试，在数小时、数天甚至数周的测试运行中搜索质量下降/恶化的原因。

深入的视频质量分析是一个主观的概念。最精确的质量测量方法是收集人类观察者并要求他们对质量进行判断。这是一个很有意义的和潜在的不一致的方法，因为需要对人类观察者进行判断，以确保他们的视力是好的，他们不会太累，或者没有色盲，等等。最后，为每项测试计算一个平均意见得分（mos）。有关设置主观测试的详细信息，请参阅建议ITU-R BT.500-13-电视图像质量主观评估方法根据TU-R BT500.13或TU-T 913建议，已经开发了许多算法，通过与正确生成的主观数据相关，以精确的方式估计人类感知质量。

算法分为三类：
1.全参考算法：比较处理序列和参考序列
2.无参考算法：仅分析处理过的视频序列
3.简化参考算法：从参考视频中提取特定信息，并在分析处理后的视频时使用

全参考评分方法：
1. Eitp：提供一个目标评估，以确定给定程序的两个版本之间是否可以看到两种颜色之间的差异。
2.VMAF:Video Multime Assessment Fusion是为流式视频服务的质量评估量身定制的。
3.MS-SSIM/DMOS:MS-SSIM和DMOS两种尺度上的多尺度结构相似性图像质量评估，其中DMOS是参考视频和处理视频的平均意见得分之间的差异。
4.JND：将人类观察者聚集在一起并直到至少有一个人认为经过处理的视频至少与参考视频一样好为止（只是明显的差异）
5.PSNR：峰值信噪比，信号最大可能功率与影响其表示保真度的畸变噪声功率之比。
6.aFREQ：相对于每个参考音频通道，用于查找严重错误的音频性能指标。aFreq包括音频-视频偏移测量或唇音同步值或程序中选定的通道。

无参考评分方法：
1.NIQE：自然图像质量评价，全盲，无失真，无参考，图像质量评价指标
2..aPEAK：根据ITU-R BS.1770-3，每个通道的真实峰值音频测量
3.LKFS：根据ITU-R BS.1770-3，每个项目的音频响度测量
4.Spatial：计算视频帧的活动强度，数值越大表示帧中的变化越多。
5.Temporal：计算连续视频帧之间的变化，零表示冻结帧。