机器学习与计算机视觉（被忽视的isp图像处理）

【 声明：版权所有，欢迎转载，请勿用于商业用途。  联系信箱：feixiaoxing @163.com】

 

    目前国内大多数做adas或者无人驾驶的公司走的都是计算机图像方案，一方面是由于camera本身的低成本，另外一方面也是因为近期人工智能在图像领域的迅猛发展。但是，有一点很过公司都忽略的，他们过分关注与图像算法本身，而对图像质量、嵌入式优化这两个方面做的不是很到位。通常而言，这些公司都会拿一些成熟的测试视频进行开发，但是这些视频都是在别人已经调好的camera上录制的，而从市场上拿来的camera根本没有办法做到高质量的视频输出，这其中isp调优就是很重要的一块。

 

    目前的camera一般由这几块组成，分别是镜头、sensor、isp。当然，如果是夜视设备，还会多一个IR LED灯。镜头英文叫lense，它负责多少nm的光可以透进来。sensor就是感光芯片，它负责将光变成二进制信息，一般是yuv格式的矩阵。最后就是isp，isp负责将raw data变成漂亮的图片，或者是后续算法认可的图片。目前isp主要是软件完成，isp一般会有一个51芯片来进行处理。那么，isp负责的工作有哪些，我们可以一一看过来。

 

1、自动曝光

    一般拍照时，要求白天曝光弱一点，晚上曝光强一点。所以，自动曝光其实就是自动控制sensor的曝光时间。

 

2、自动对焦

    拍远景的时候，会要求镜头和sensor远一点，而近景的时候要求镜头和sensor近一点。isp可以通过算法自动识别近景和远景。

 

3、自动白平衡

    简而言之，主要要来解决色温问题，使得图像恢复成本来的颜色，不会出现偏黄、偏绿、偏蓝的问题。

 

4、镜头阴影矫正

    由于镜头本身特性，会造成图像中间过亮、边缘过暗的问题，可以使用软件算法修正这一问题。

 

5、gamma校正

    自然界的灰度变化和人对灰度的感知是不一样的，gamma校正就是解决这一问题。

 

6、WDR

    所谓WDR，就是指宽动态范围，它解决图像中部分过曝、部分曝光不足的问题，比如靠近窗口、日光灯下的图片。

 

7、畸变校正

    由于镜头的原因，图像会出现横向畸变和切向畸变。所以，使用特定软件算法可以解决畸变的问题。

 

8、色彩增强

    主要是增加色彩饱和度。

 

9、锐化

    通过特定的软件算法，让图像中的边缘、棱角更加的分明、显著。

 

10、去除噪声

    利用软件滤波算法去除图像中的特定噪声。

 

11、图像的缩放

    部分isp支持图像的缩放功能，比如支持不同的分辨率1920*1080、 1080*720、640*480等等。

 

12、图像旋转

    根据客户的要求，部分isp也会支持旋转的要求，比如旋转90度、180度、270度等。

 

13、镜像处理

    目前isp支持的镜像包括上下镜像、左右镜像。

 

14、控制曝光频率

    曝光频率其实决定了图像的帧率。如果只是消费级别的camera，20帧左右就可以保证画面流畅。但是如果是汽车上面的算法，应该是帧率越高越好，只要cpu、dsp、controller、hw处理得过来，并且没有明显的功耗和散热问题，这就可以。

 

    在实际开发的过程中，一个算法的调整很有可能会影响其他算法的调优工作，相互之间的关联性很大。并且，很多时候两个功能是没有办法同时获得的，比如亮度和噪声，如果只是单个摄像头，这个时候需要做的就是权衡和取舍。因此，现在的手机上面会出现了多个摄像头，比如说长焦、短焦、广角、黑白，这样可以同时兼顾近景、远景、白天、黑夜等多个拍摄场景。