海思isp图像处理芯片_ISP工程师谈视频监控的图像处理和优化

[导读]　视频监控这个“蛋糕”看似很大，但要真正吃到却并不容易，特别是近几年来视频监控逐步在向高清化、智能化和网络化方向发展，这就需要企业更加重视技术和研发实力。随着视频监控应用范围的扩大，用户对视频监控平台的性能……

随着人们对公共和个人安全需求的日益增长，视频监控越来越受到重视。据《中国安防行业“十二五”发展规划》报告，到2015年，安防产业规模总产值达到5000亿元，其中视频监控系统产值将达到1100亿元。另据ResearchandMarkets最新报告显示，预计在2013年~2018年期间，复合年增长率将达到25%左右，到2018年底，全球视频监控的收入将会增长3倍左右，网络视频监控市场的收入将增长近4倍，这足可见视频监控在中国的市场前景广阔，国内视频监控市场蕴藏着巨大的商业机会。

视频监控这个“蛋糕”看似很大，但要真正吃到却并不容易，特别是近几年来视频监控逐步在向高清化、智能化和网络化方向发展，这就需要企业更加重视技术和研发实力。随着视频监控应用范围的扩大，用户对视频监控平台的性能、寿命、可靠性和稳定性的要求也变得多元化和专业化，新产品的开发难度会进一步加大。而据参加本次技术沙龙的一位工程师介绍，他了解的情况是，国内目前做视频监控的企业大都不具备独立开发新产品的能力，技术部门一般都是调试和测试工程师，具备ISP工程师都很少。这样看来，要想在视频监控市场分一杯羹，国内的视频监控企业必须要考虑下如何提升自己的技术水平。

视频监控会涉及多种技术，一个视频监控方案主要包括图像采集、图像预处理、图像处理与传输、图像显示及图像管理等。而在整个视频监控领域中，最难点在于图像的处理。图像处理对于整个视频监控方案来说是一项艰巨而又关键的任务，直接决定了后续图像分析的准确性和便捷性。

图像处理的一般步骤包括前处理和后处理。前处理需要有一个合适的曝光，这样会涉及到一个自动曝光算法。后处理的步骤比较多，有白平衡校正，插值，色再现，伽玛校正，降噪、边缘增强和伪彩色抑制。由于步骤比较多，数据计算量大，故图像处理的过程(ISP)，一般由硬件模块完成，或者用FPGA实现。也有一些厂商用专用芯片的ISP来处理，比如TI的达芬奇，海思的Hi系列SoC等。各芯片厂家的ISP流程大致相同，ISP的几个环节(白平衡校正、色再现、伽玛校正、伪彩色抑制)都是简单而透明的。真正有技术难点的环节是CFA插值、宽动态、噪声滤波和边缘增强，这个才是各厂家技术实力的区别所在。

CFA插值是把原始图像每个像素点单一的颜色都再增加另外两个颜色，形成一个包含有RGB颜色的像素点，数据量增至三倍。该方法的研究始于1976年，目前还在持续研究发展中。CFA插值的难点在于：保留图像的细节、正确还原色彩、不产生虚假色、不增加噪点、没有摩尔纹效应、运算量小且可以硬件实现。这些条件之间往往互相制约，实际的算法都是在满足应用的前提下作了折衷。

噪声滤波是一种图像平滑技术，它抑制噪点的同时也会对细节造成损失。降噪算法就在于如何有效去除噪点而保留边缘。通常，会按不同的亮度等级，来检测噪点和使用不同降噪强度。一般地，一张图像在高亮度和低亮度的地方，可以进行高强度的滤波。

由于原始图像的边缘和细节往往是不尽人意的，再加上降噪平滑，所以后端要有边缘增强的模块。边缘增强只对亮度分量进行增强。它的算法原理一般是用拉普拉斯算子提取出边缘信息来，然后根据边缘的大小和正负，来决定增加或减少多少亮度值，来达到增加细节的目的。

以交通路口的测光举例来说，由于在交通路口我们需要知道到底是哪辆车违章了，所以会更加关注车辆本身及车牌号码，而路边的花草树木我们并不关心，要达到这个目的，我们就可以把车和显示车牌的路中间区域给较大的权重，使之亮度符合预期，而对道路边上的建筑物或树荫给比较小的权重。

宽动态技术用于改善高反差场景下的图像视觉效果，使得高亮的地方不过曝，低亮的地方不过暗。目前分为前端校正和后端校正两种。前端校正，目前的一些CMOS可以通过控制感光度来抑制像素点的电荷饱和，以达到宽动态目的。还可以隔行或相邻像素单元进行长曝光和短曝光来提升动态范围(类似人眼感光细胞那样)。后端处理，有ISP处理芯片算法实现。只有前端校正的方法才是真正的宽动态方法，另为宽动态也是图像技术未来的发展趋势。