图像质量评估(2) -- 图像质量相关参数：分辨率

分辨率（解析度，Resolution）

        分辨率使我们经常听到的一个词，它代表了图像的精细程度，也代表了图像的大小。分辨率决定了在这种大小下，输出信号是否能够包含足够多的信息来获取所需的细节。这个参数和图片本身是否锐利或图片是否没有干扰（比如彩色摩尔纹）关系不大。

        在ISO 12233中，分辨率被定义为衡量一个摄像机系统或摄像机系统的一个部件描绘图像细节的能力。

        通常我们所说的分辨率一般都会以横向像素个数和纵向像素个数的乘积表达，比如1920*1080, 1024*768等，但在ISO12233中，我们会看到LW / PH、LP / mm、Cycles / pixel、LP / PH等单位，这些又表示什么意思呢？

LP/mm	在模拟技术影像时代，胶片或透镜的分辨率通过LP/mm表示（每毫米线对，line pairs per millimeter）。这个单位表示了在胶片平面中每一毫米内你能够找到的线对数量。 一个线对由一条黑线和一条相邻的白线组成，它们的朝向一致，宽度一致。 举例来说，如果透镜的分辨率为100LP/mm,这表示在胶片1mm内会投影出100根黑白线对。 进入数码时代后，数字信号的特点使得使用这个单位来表达一副数字图像的分辨率来说不再适合。当然，你可以使用LP/mm来表示透镜的分辨率，但这种情况下你需要知道设备中使用的sensor的精确尺寸，要知道这个事情，有时非常困难，绝大多数情况下，如果不撬开设备是无法搞清楚的。
LP/pix	我们已经知道了LP/mm对于数码相机的分辨率来说并不适合。因此需要另一种不同的单位，有一种非常常见的单位叫做LP/pix(每像素线对 line pairs per pixel)或cycles/pix(每像素周期 cycles per pixel)。线对仍然表示一组黑白相间的线，一个像素能够达到的最大分辨率是1/2 LP/pix。因此，如果一个摄像头能够解析0.4 LP/pix，它就能达到其理论最大分辨率的80%。这样我们就能很轻松地对比两个摄像头对它们所拥有的像素数量的使用程度了。
LP/PH	如果只用LP/pix来表示分辨率，会难以界定采样过程本身的影响。例如，有两个摄像头A和B，A是0.5 LP/pix,B是0.4 LP/pix，单从这个信息来看，你可能会得出A比B好的结论。但如果A只有320个像素高，而B有2000像素高，那么B在相同场景中所能展示的细节肯定会比A要好。因此为了让测试结果能兼具效率（LP/pix）以及像素数量，有了LP/PH（没图像高线对 lin pairs per picture height）这个单位。 本例子中，A是160 LP/PH，B是800 LP/PH。 关于160 LP/PH和800 LP/PH是如何来的，这里简单说明一下。对于0.5 LP/pix，可以推出两个像素组成了一个线对的一个点（黑好白），同理0.4 LP/pix下，需要2.5个像素。 用总的高度320和2000除以组成线对的一个点所需的像素个数，就是LP/PH。
L/mm	lines per millimetre。每毫米线数，和LP/mm类似，但仅表示线。
Cycles/mm	cycles per millimetre。每毫米周期数。
LW/PH	line width per picture height，每图像高行宽，和LP/PH类似，但表示行宽和高度的关系。

        各个单位的转换关系如下图

分辨率不足何时会发生

        在数字摄影的最开始的年份中，通常图像分辨率的最大阻碍就是sensor本身有限的像素个数。由于这个原因，sensor的像素个数通常被误认为是分辨率。随着像素数量的增加，近年来问题转到了诸如光学性能、自动对焦、动态模糊等因素上。如今像素大小开始不断逼近极限，此时衍射这种光学现象就不得不考虑了。

        现如今，高分辨率依赖于高质量的透镜来产生精细的图像，高质量的透镜对图像边缘的图像质量尤其重要。一副图像从中心点向角落扩散，不同的光学因素（如球面相差，镜头色差）影响下通常会导致分辨率变差。

        关于球面相差，可参考下面的链接

球面像差_球面像差是什么-带您了解球面像差实际上，球面镜不能将所有光线聚焦在同一点，透过镜片边缘进入的光线会偏离焦点形成像差，尤其在大光圈的时候，有较多光线可以通过镜片，最明显就是一些光点会虚化成一团光。https://www.wowoli.com/24198.html        关于镜头的色差，可参考下面的链接
【有图有真像】什么是色差（Chromatic Aberration），怎么消除色差 - 知乎色差色差（英语：Chromatic Aberration，简称CA）是指光学上透镜无法将各种波长的色光都聚焦在同一点上的现象 [1]，色差是由于镜头散射现象而造成的，图像中的物体周围特别是高对比度的情况下可能出现模糊或明显的…https://zhuanlan.zhihu.com/p/151431106

测试分辨率的方法

        对分辨率的测试其实就是对空间频率响应（spatial frequency response，SFR）的测试。

        这个函数描述了被测系统对于空间频率的范围的重现程度，范围从0%（完全丢失信息）到100%（完美重现信息，没有任何数据丢失）。

        上图中，横轴表示空间频率，从左到右变大；纵轴表示SFR。

        当测量一个相机系统的分辨率时，推荐先使用ISO 12233标准测量SFR测量。后续有很多不同的测试都和SFR有关系。

        标准描述了三种测量分辨率的方法，其中只有两种和SFR相关。这两种方法主要的差异是所使用的测试图不一样，e-SFR使用斜边图（slanted edge），s-SFR使用西门子星型测试图(Siemens stars)。

        第三种获得SFR的方法是枯叶图（或彩色落币图，一种升级版的枯叶图）。其主要是针对了纹理损失分析做了高度优化。

细节纹理和锐化测试（枯叶图）—imatest_岁月蹉跎的一杯酒的博客-CSDN博客_枯叶图测试1、彩色落币图是枯叶图的升级设计是为了测量纹理清晰度,因为很多时候为了降噪或者其他图像处理技术导致图像中低对比度，精细细节的损失，比如我们有时候用到美颜，磨皮算法的相机发现拍摄出的人物图像脸部很光滑，但却没有能还原出人物脸部的细节，因为在高锐度，高对比度的情况下，不但画面上人脸的皱纹、 斑点更清楚， 而且脸部肌肉的鼓起或凹下也可表现得栩栩如生，这张卡就能对纹理清晰度的显示能力，分析纹理损失进行一个数据化的测量2.彩色落币图主要是由18%灰色度的灰色背景，4个对准标记，16个灰阶块，枯叶图案和斜边五个模块https://blog.csdn.net/weixin_44690935/article/details/118389521

       E-SFR/Slanted Edges

        e-SFR主要有三步：

        1） 获得边缘扩散函数（edge spread function）

              边缘扩散函数ESF，描述了被测系统是如何重现边界的。换句话说，它展示了图像中的边界的低强度（low-intensity）到高强度（high-intensity）部分的变化过程。ISO 12233中展示的算法允许一种super-resolution ESF，意思是这个ESF相较于原始图像有四倍的采样率。过采样能够在使用沿着目标边界上的所有像素的时候，定义出边界的变化。

        2）获得线扩散函数（line spread function）

             线扩散函数LSF，是ESF的导数。在一些传统的透镜测试试验台中，LSF可以不用先知道ESF，通过重现狭缝的方式可以直接获得。尽管这种方法有一些工程上的好处，但并没有斜边方法灵活。

        3）获得空间频率响应（spatial frequency response）

              SFR最终以LSF的傅里叶变换的方式计算。傅里叶变换将信号从时域/空域变换到频域。这样信号就不再通过"强度-位置"来描述，而是通过信号所需的不同空间频率的组合来表达。

 e-SFR的三个关键步骤，图中蓝色和红色线代表一个理想的信号以及一个真实的相机信号

        关于e-SFR的详细算法，可以参考这位大神的文章

SFR算法详解（二）——斜棱法_小棋学编程的博客-CSDN博客_sfr算法详解免责声明：仅供研究讨论，未经确认，相关内容严禁商用，若有错误，欢迎指正。一、基于初版修正后产生的斜棱法(e-SFR)(1) 选取斜棱所在的ROI区域进行初步分析。在ISO12233中，这里对选取的ROI提出了几点要求，在经过逆OECF调整以后，选取的图像区域需要满足以下两点：①选取的区域在后续计算中，顶部和底部区域的斜边分界点距离左右边沿不得少于2个像素，即不能太靠边，如下图我...https://blog.csdn.net/tanjiaqi2554/article/details/101826860        s-SFR/Siemens Star

        斜边法从IS0 12233的第一个版本开始就一直作为标准的一部分存在，从2014年后的版本中增加了s-SFR方法。这个方法在加入标准前实际上已经在某些测试实验室所使用。

        该方法的核心概念建立在调和函数的线性组合认为调和函数这个特性上，线性系统处理后只会在调制或相位上发生改变。 空间频率的范围需要测量在物体和图片中的调制比率。这个比率叫做被测系统的调制传递函数（Modulation transfer function， MTF）。换个理解方式是说，MTF 是衡量其在特定分辨率下将对比度从物体转移到图像的能力。

        被测系统会重现调和西门子星图，控制软件会定位星图的中心点。对于一个给定的半径，单位角度的数值以及一个调和MTF值会被测量出来。由于半径反映了空间频率，因此我们对所有可用的半径都进行相同的测量，最后绘制出测量的MTF值。

 

        关于MTF详细解释，可参考这里

调制传递函数（MTF）简介 - 知乎1、镜头的衡量标准 当光学设计人员试图比较光学系统的性能时，常用的衡量标准是调制传递函数（MTF）Modulation Transfer Function（以下简称MTF）。MTF用于从简单的球面单透镜到复杂的多元件远心镜头组件、远心光…https://zhuanlan.zhihu.com/p/381064331

       有什么衍生自SFR的度量方法

        测量出的SFR提供了很多信息。当设立不同的度量时，这个数据能够缩减为一个单独的数值。

        极限分辨率，也被表达为MTF10，或者空间分辨率SFR为10%。这个10%是基于瑞利准则而来，瑞利准则描述了两点的衍射行为模式为基础的极限分辨率。

        MTF10这个值描述了你能在实际的图像中找到的细节的绝对极大值，这些细节对比度很低但仍然是视觉可见的。

        极限分辨率代表了最大的表现力，这和主观理解上的sharpness并不相关。在很长一段时间里，有一种说法是MTF50这个值会是一个描述一副图像sharpness的更好的值。但MTF50本身是导致SFR为50%的空间频率。在主观的sharpness以及MTF50之间有相关性，但新的度量手段，也称为锐度（acutance），展示了更深入的相关性。

        锐度（acutance）通过测量处的SFR和人眼的对比灵敏度函数（contrast sensitivity function, CSF）来计算。CSF是一个描述人眼如何观察感知空间频率的模型。因此，从图像中测量处的空间频率需要变换到针对具体观察条件的空间频率的表达形式。不像MTF50，锐度（acutance）考虑到了人眼视觉和特定观察条件的因素。

        简单描述一下，可以认为sharpness为高，图像的分辨率resolution以及锐度acutance都高。

        关于sharpness，resolution和actuance的区别联系，这篇文章描述的很好，大家可以参考

成像的清晰度、分辨率和锐度【望远镜吧】_百度贴吧成像的清晰度、分辨率..要理解MTF曲线，需要先搞明白这几个词：成像的清晰度，锐度，对比度，和分辨率。摄影里，锐度是指acutance，不是sharpness，尽管两个词翻译成英文都可以叫做锐度。Acute是锋利的意思，比如https://tieba.baidu.com/p/5651076689?source=topic

总结

        分辨率是图像质量的一个基础元素。分辨率不足导致的结果不只是低质量的图片，在安防和汽车工业，通常依赖于高分辨率的图像和视频，这些场景中分辨率不足会造成致命的后果。因此对被测摄像机系统的图像的分辨率进行正确地测试和分析至关重要。

测试方法如何选择

        e-SFR方法相对简单并且对于测试图卡的设计上有更大的灵活度。另外完整的SFR测量是在图中一个小的区域内完成的。当使用e-SFR时，需要记住的是图像的增强算法会影响信号处理，检测边界并增强边界对比度是非常容易的。因此e-SFR受到了部分因素如锐化的影响，当然如果相机的RAW data可访问，则这些因素不会成为问题。

        s-SFR方法对于锐化以及其它图像增强算法来说更具健壮性。它测量和评估了一个系统的光学性能，甚至是在RAW data不可用的情况下也能做到。不像e-SFR，s-SFR在绝大多数场景中，能够在达到的高频内提供可靠的信息如MTF10。

        如果没有RAW data可用，最好是测量在不同结构上测量不同的SFR。这样我们能从s-SFR里得到光学性能，从e-SFR中获得有关锐化的信息。

参考资料

        Image Resolution - Image Engineering

        Resolution measurement and its units

        摄像模组中光学相关知识（一）_川和流息的博客-CSDN博客

        [摘抄]简述Camera摄像头清晰度/解析力的评价 - 忘掉名字吧orz - 博客园

        我理解的MTF/SFR - 知乎

        信息光学相干线扩散函数和边缘扩散函数.pdf.pdf

        数学中重要的一类函数——调和函数