双目色彩一致性问题定位回顾

双目色彩一致性问题定位回顾

一、事情起因：

      客户想要用一个主控搭载两颗相同的sensor，使用相同的镜头进行双目拼接以扩大视场角，达到类似广角镜头的效果：

双目采集的原始图像：图片来源：宇视全彩双目广角筒机如何实现画面无缝拼接

双目拼接后的图像：

       为了消除双目输出的两路图像亮度和色彩中的差异，我们在ISP内部做了白平衡和自动曝光的融合处理，确保图像色彩和图像亮度达到一致。在实际使用过程中，客户发现对着同样的场景，左边sensor输出的图像和右边sensor输出的图像比较起来始终存在一定色差。客户认为使用相同的sensor，相同的镜头对着相同的场景（两路图像并不完全一样），两路图像看起来不应该存在色差才对呀！

      客户就纳闷了：究竟是主控的ISP对两路图像做了不同的处理呢？还是两路sensor自身的一致性或者镜头的一致性不一样，导致采集到的图像输出就有略微差异，经过ISP的某些模块把这些差异放大呢？

      究竟会是哪一个原因呢？是ISP的问题还是sensor的问题呢？如果客户有这些疑问，我们又该如何拿出有力的证据证明不是ISP的问题呢？

二、验证方法：

      一个方法是在灯箱中，把两路sensor分别设置固定白平衡固定曝光的情况下，

      抓取两路sensor拍摄18%灰卡RAW数据进行分析。分析数据要耗费大量时间，而且似乎也不够直观。如果能够直接通过图像的形式阐述这个问题的原因，那就太好了。

      要是需要用图像，如何保证输入到ISP端的图像数据是一样的呢？因为虽然双目拍摄同样的场景，但是由于两个sensor之间还是存在一定角度，两路sensor输出的图像数据并不是完全一致。

      ISP端的TestPattern模式以及sensor端的TestPattern模式下都能输出完全相同的图像数据，这就完美的解决了输入图像数据不一致的问题，余下的只需要查看相同的图像数据输入到ISP后，ISP吐出来的图像数据是否一致就能够证明：相同的输入经过相同ISP配置之后，输出来的图像数据是一样的。

三、验证实施：

1. 首先设置ISP端的TestPattern模式进行验证。

   2.打开PotPlayer查看两路sensor的视频流，分别截图保存，然后用画图工具对齐一起比较，查看是否有色差。

What？竟然两路图像数据竟然有色差。为什么会有这种情况发生！！

难道真的是ISP处理之后，两路sensor的图像不一样吗？

两颗sensor搭载一个主控的情况下，一般都是通过sensor的轮流采集实现双目的功能。对于主控的ISP来说，只是输入数据轮流进入到ISP，都是用同样参数配置的的ISP Pipeline处理同样的TestPattern数据，没道理会有差异呀？！

OK！那我们继续定位问题。

如果怀疑是ISP处理的问题，那么肯定在处理两路sensor的时候，ISP所配置的参数可能存在不一样的地方。打印两路sensor处理时，ISP模块所配置的ISP参数寄存器看看究竟是否是一致的。

不出所料，打印出来的ISP寄存器都是一样的，除了一些buffer地址配置的寄存器之前，ISP图像处理相关的寄存器都是一样的。为什么ISP图像处理相关的寄存器都是一样的输出来的图像却是不一样的呢？

此时，我们应该考虑获取两路sensor输出到编码前的yuv数据。相当于在调试程序时做的一个断点操作。如果输出到编码器之前的YUV数据中两路sensor不存在色彩的话，说明相同数据经过ISP的Pipeline之后，输出是相同的处理后数据；也说明是ISP处理之后才引入的色差问题或者是后续的PP模块或者编码器引入的色差问题。

继续定位问题！

那我们直接录制编码器编码的裸码流看看两路sensor在裸码流中的色彩表现是否一致。两路sensor在裸码流中的色彩表现是一致的！

OK!我们现在排除了ISP模块、PP模块以及编码器模块的影响。也就是说从数据输入到主控，然后主控输出编码后的数据。TestPattern在这一长串的旅途中，并没有出现色差问题。

那这个色差问题就肯定是后续视频解码播出的时候才被引入的！！

如何确认这一点呢？

这里还有一个小插曲。在我测试验证的电脑上用PotPlayer播放，很容易就复现这种色差问题。但是，一拿到其他同事的电脑上，进行同样的操作使用PotPlay播放却是怎么也不能复现出这种色差问题。那是不是PotPlayer在两台电脑上的设置不一样或者是根本就是用的两个不同的版本看的视频！

继续定位问题！

查看我验证的PotPlayer版本信息和同事的PotPlayer版本信息。有重大发现：

同事的版本信息：

 我所使用的版本信息：

 一个旧版本一个新版本。照理来说，新版本应该兼容就旧版本才是。为什么不能兼容呢？

OK！那我们就看看这两个版本的视频相关设置情况怎样！

 重大发现！！两个版本的视频播放相关设置存在差异。也就是说可能是这种设置上的差异导致了这种色差的产生。

OK！那我们就把其中一个播放器的设置改成和另外一个版本的播放器设置一样就可以验证是否是视频相关设置导致的色差问题！是否可以认为，用了一个不太正确的解码器解码编码器输出的视频流信息，或者是不合适的输出格式导致解析图像数据的时候出现的错误。

............................................................，一个小时以后，PotPlayer上还是没能找到可以设置相同配置的地方。如果各位知道在哪里设置的话，请告诉我一声，后续在抽空继续验证确认。

后续，我在不同电脑上分别使用了不同版本（比较低的版本，没有有验证所使用的版本新）的PotPlayer查看两路sensor的图像，均未发现色差问题。这也从侧面验证：只要输入到ISP Pipeline的数据是一致的，那么ISP输出来的图像肯定是一致的。