Camera Tunning ISP 模块面试总结

一.ISP的调试流程概述:

在ISP调试流程中,我们首先需要确认以下三个方面:项目需求、硬件问题确认和Sensor驱动配置确认。

项目需求方面,即Sensor需要出多大的分辨率去调效果;因为有些芯片有最大分辨率支持的限制,可能需要调整sensor输出的分辨率大小;而且要注意下减小分辨率后,输出图像的fov及像素的长宽比,减小分辨率的话,一般会损失fov(前提不是binning和skipping的方式);不是标准分辨率,也就是像素长宽比不是16:9的话,显示在16:9的屏上会有拉伸或压缩的效果,这些问题都需要提前和客户沟通清楚 ;另外,项目的ddr是多大?isp部分的内存该配多大?这里要知道出几路视频流+图像格式是怎样的,用来计算isp部分所要占用的内存大小,因为之前工作中出现过,ddr内存不够,导致isp中的3d去噪模块不生效。

硬件问题确认方面,主要从模组出发,通常体现在模组一致性方面,如低照度下确认电源噪声;Sensor的wdr和linear模式,分别在低照下、高增益下、高光下(对着灯光)查看是否有竖线;镜头对着解析力卡,确认中心和四周解析力的差异,看4个角差异是否很大;验证sensor帧率是否正常;景深范围差异等等。

Sensor驱动配置确认方面,主要确认50Hz下是否有工频干扰(banding)(实验室顶灯、色温箱A光源);抓raw图时,确认不同setting的fov,必须是按中心进行crop ;确认linear和wdr模式下的曝光时间( 25fps ---曝光时间40ms、30fps ---曝光时间33ms );确认wdr模式下,曝光比和长短帧的数值变化是否正常等等。

以上三方面确认OK后,接下来就得进行一系列的Precheck;包括竞品分析、硬件选型、算法选型、OTP烧录、模组挑选、Camera Tunning环境搭建。另外,在ISP模块的Precheck,细分则有三方算法导通切生效的效果check、原始raw数据的check、平台参数效果的check、成像效果是否异常的check等等。

做完precheck后,接着就是客观调试和主观调试,这方面不多做介绍。

二、ISP的数字图像处理算法过程有哪些?

主要包含3A、坏点效正、去噪、强光压制、背光补偿、色彩增强、镜头阴影效正、AWB、黑电平补偿、颜色插值、gamma、色彩空间转换等等。

三、影响ISP清晰度的有哪些?

在camera调试过程中,首先我们能确认影响成像清晰度的第一步,既是从镜头出发,也就是模组一致性,这里需要确定的是从模组厂挑选的模组是否合格;另外、性能和拍照手法也会影响清晰度,主要体现在有无开3A和dump、帧率、AE收敛时间方面;当然,AF是否对焦,AE对比度、亮度是否合理、AWB饱和度对ISP的清晰度也有影响;同时还需要排查和兼顾算法流程的合理性,主要体现在对应ISP模块是否多走或者少走,算法集成是否异常,算法使能是否打开或者关闭;不同ISO段参数不平滑、有无第三方算法加成也会导致清晰度有差异。

四、MTK各代平台有哪些差异?

在ISP3.0之前只有单帧;ISP4.0增加了多帧;ISP5.0在ISP4.0的基础上增加了ATMS客制化参数表;ISP6.0在ISP5.0的基础上增加了Face NR。

五、描述一下调试平台的ISP处理模块流程。

以MTK ISP4.0平台为例,在raw阈的处理顺序为:消除暗区偏色-->光学黑效正-->坏点效正-->变换着色函数-->尺寸调整-->白平衡-->高频彩噪处理-->去马赛克DM;在去马赛克后,就进入了RGB阈;处理顺序为:对比度增强-->伽马效正-->色彩空间转换CSC;在进行色彩空间转换后,就进入了YUV阈,其处理顺序为:去亮度噪声NR1,低通滤波-->增强边缘EE,高通滤波-->NR2去除彩色噪声,中值滤波-->高频噪声产生器HFG-->改变颜色饱和度COLOR-->多帧去噪-->低频多噪SWNR-->抗光晕处理SWABF-->输出最终合成的YUV图

你可能感兴趣的:(图像处理)