一文为你解答计算机视觉项目从哪些方面选择相机

作者|Yan Xiaoming 编辑|3D视觉开发者社区

在2022年嵌入式视觉峰会中，《Optimizing Camera Image Quality to Maximize Computer Vision Results》、《12+ Image Quality Attributes that Impact Computer Vision》和《Selecting the Right Camera for Your Embedded Computer Vision Project》三篇演讲都以不同角度涉及到了计算机视觉相机项目中算法对于相机参数的要求，本文对三篇演讲结合笔者自身的经验重新进行了汇总，将影响计算机视觉性能的相机因素总结为6种，分别对应到光学/镜头，图像传感器和图像质量调试三个主要方面。

1. 光谱和光源

如下图可见，不同类型光源/不同波段光谱能够得到不同特征的图像信息.

N: near IR（近红外光）

2. 亮度、运动模糊和噪声

之所以将这三个问题列在一起是因为这三个指标可以几乎说是相互矛盾的，需要根据实际的需求去平衡。

亮度是算法识别精度的影响和算法模型以及训练的数据集都有关系，比如下图中的虚线，当使用各种EV 值去训练mobilenet-ssd 和RFCN-Rsnet101 时，两个算法的mAP最大值出现在了不同的EV值处。

再比如下图，经过Algolux 自动化工具训练出来的IQ 图像，车身的亮度显然是人脸视觉中认为质量比较差的图像，但是却能被算法识别到。

当我们需要调节亮度的时候，如果增加曝光时间可能会引起图像运动模糊导致识别率下降，而减少曝光时间增加gain又可能会导致噪声变大和动态坏点的增加。

以下图为例，图像中的6幅图像都是通过改变某一个像素的亮度造成算法识别结果的改变。比如左上角的船，通过增加一个亮点，VGG则将其分类为‘Car’ 而不是‘Ship’。

因此需要在计算机视觉项目中思考所需要图像传感器的QE和动态范围；

需要镜头的光圈大小（进光量、景深等）；

思考图像调试则需要平衡曝光时间和增益、HDR 的调试、保证动态坏点的去除等等。

3. 对比度

对比度下降不仅会从人类视觉角度造成图像质量下降，从机器视觉角度（算法识别）也导致识别精度的下降。

虽然对比度下降对人类视觉和机器视觉（算法识别）都造成相同趋势的影响，并不代表两者对IQ tuning有绝对相同的需求，比如下图中夜景和雨天的两种调试倾向，‘Atlas optimized’这种tuning 倾向对机器视觉则有更好的效果（检测成功率更高）。

PS：杂散光，脏污，以及ISP相关模块tuning都会对图像对比度产生影响

4. 图像形变（畸变）

如下图，对原图进行形变后的图像。原图和畸变图像在神经网络中的感知会随着形变的情况而产生变化。

5. 解析力/分辨率

解析力同样对机器视觉和人类视觉都有直接的影响。

决定相机解析力的因素有很多，相机解析力对机器视觉的影响也与对传统人类视觉图像质量的影响有所不同，MTF/SFR和角度分辨率对机器视觉都有影响。

6. 色彩

以下图白平衡错误为例，颜色错误会对分类算法和分割算法都产生了错误的影响。

以上6项因素的总结如下表所示

版权声明：本文为奥比中光3D视觉开发者社区特约作者授权原创发布，未经授权不得转载，本文仅做学术分享，版权归原作者所有，若涉及侵权内容请联系删文。

3D视觉开发者社区是由奥比中光给所有开发者打造的分享与交流平台，旨在将3D视觉技术开放给开发者。平台为开发者提供3D视觉领域免费课程、奥比中光独家资源与专业技术支持。

快来[3D视觉开发者社区]和开发者们一起讨论分享吧~