RK3568/RV1126/RV1109/RV1106 ISP调试方案

最近一直在做瑞芯微rv1126的开发,由于项目性质,与camera打的交道比较多,包括图像的采集,ISP处理,图像处理,H.264/H.265编解码等各个方面吧。学到了不少,在学习的过程中,也得到了不少帮助,很感激,所以将这一部分整理了一下,希望能对大家有所帮助。如有错漏,也希望批评指出,一起探讨。

1 摄像头类型
1.1 接口介绍
RV1126支持的摄像头接口主要包括MIPI、LVDS、DVP等三种。

MIPI:串行接口,当前主要摄像头接口,速度最快,抗干扰强。
LVDS:串行接口。
DVP:一种并行接口,即Digital Video Port,相对于MIPI接口,传输速率有限,一般为5M或以下摄像头。
DVP可与MIPI或LVDS接口可以同时工作,但MIPI和LVDS不能同时作。DVP接口对应一个rkcif_dvp节点,MIPI/LVDS接口对应一个rkcif_mipi_lvds节点,各节点可独立采集。为了将VICAP采集的数据信息同步给isp驱动,需要将VICAP驱动生成的逻辑sditf节点链接到isp所生成的虚拟节点,DVP接口对应rkcif_dvp_sditf节点,MIPI/LVDS接口对应rkcif_mipi_lvds_sditf节点。

1.2 数据类型
**Raw:**RAW图像就是CMOS或者CCD图像感应器将捕捉到的光源信号转化为数字信号的原始数据,是camera sensor直接输出的格式。红外相机的sensor和彩色相机的sensor有些不同,有的红外相机的sensor输出的raw data就是亮度值,即灰度值,输出来就是只有Y信息的,一个像素点通常由Y10/Y16等字节来表示。彩色相机RGB格式,每个像素点表示一个颜色分量B、G或R。
RAW文件是一种记录了数码相机传感器的原始信息,同时记录了由相机拍摄所产生的一些元数据(Metadata,如ISO的设置、快门速度、光圈值、白平衡等)的文件。RAW是未经处理、也未经压缩的格式,可以把RAW概念化为“原始图像编码数据”或更形象的称为“数字底片”。sensor的每一像素对应一个彩色滤光片,滤光片按Bayer pattern分布。将每一个像素的数据直接输出,即RAW RGB dataRaw data(Raw RGB)经过彩色插值就变成RGB.
raw格式是无法直接用于图像处理的,因为每个像素点颜色信息都不全,需要经过ISP处理,把raw转成yuv/rgb之类的图像(不只是格式转换,还要做白平衡调整之类的图像处理工作,调整好图像效果),才可以输入到图像处理算法中。
raw数据一般是经过tuning来还原数据,效果与摄像头镜头以及tuning参数有关。详细tuning方法见4.2节。RK3568/RV1126/RV1109/RV1106 ISP调试方案_第1张图片

RK3568/RV1126/RV1109/RV1106 ISP调试方案_第2张图片

你可能感兴趣的:(瑞芯微,机器视觉,数码相机,人工智能,计算机视觉)