[解读]Hi3519-图像处理-专业名词

本文：

1. 图像处理专业名词，用于理解或调试代码使用，或是理解图像/视频编码算法的基础知识。
2. 本文适合读者直接搜索查看关键字，不建议顺序阅读。

资料补充说明:

1. 补充请按照：专业名词，话题相关，提供链接，少量文字补充。
2. 提供一个主要的链接，作为主要参考文章。
3. 允许标题最后提供更多的参考链接。
4. 从下往上补充，越在上面的表示急需补充。

去隔行

去隔行，获取：

1. 去隔行含义（将隔行视频转为逐行视频，数据量倍增而信息量不变）
2. 去隔行步骤（如果不理解H.264编码模型的话，不需要看）

直方图

如何看懂照片的直方图？，获取：

1. 直方图的坐标含义分析，并举一例说明“对比度正常的中间调”
2. 观看规则：左黑右白，左边表示暗部（阴影），右边表示亮部（高亮）；纵向高度表示像素密集程度，越高，表示在这个亮度上的像素越多。并举例说明“高调低调的直方图”
3. 从中引申：对比度（在直方图上是高光和阴影部分都有像素），举例说明“低对比”图像的效果

推荐阅读：加深一下理解。

直方图的调子与对比度

直方图的亮度与颜色

图像噪声

百科·图像噪声，获取：（本文量大，不建议细看，尤其是噪声分类）

1. 噪声的概念（生活噪声--图像噪声，连接理解），噪声（可用概率分布描述），图像噪声为多维噪声。同时图像信息的认识理解由人的视觉系统决定（导致噪声也因人的感受不同而不同）。

图像降噪/去噪

百科·降噪，获取：

1. 降噪概念（图像复原的一种，图像的干扰，如果声音有噪音一样，在图像上就是有“杂点”（多余像素））
2. 降噪成因（数字化--量化噪声、传输过程）

图像降噪与滤波，获得：

1. 滤波是降噪的一种方法（滤波是手段，降噪是目的），但滤波不止可以降噪，可以做更多的事情，比如边缘检测等。

图像增强与复原

图像增强与图像复原的异同，获取：

1. 解答一：增强和复原各自解决的问题，以及判断依据
2. 解答二：分析处理出发点，判断依据

补充，关于复原的程度解答：

目前图像复原可以做到什么水平，推荐一看，很短，而且带有示例，易于理解。

图像类型

维基·灰度图像，获取：

1. 灰度图（链接有举例），灰度值（色彩的浓淡程度）

维基·二值图像，等同于黑白图像

图像平滑

百科·图像平滑，获取：

1. 什么是图像平滑（突出低频，抑制高频 ），有何作用（使图像亮度平缓渐变，减小突变梯度）

图像锐化（图像增强的一种）

简述：补偿图像的轮廓（图像的最大特征），增强图像的边缘及灰度级跳变部分（高频部分），使得图像变得清晰（轮廓分明，图像主体架构明显），突出细节部分。

图像锐化（增强）和边缘检测（请不要看边缘检测部分），获取：

1. 为何需要锐化（图像消除噪声后，边缘和轮廓出现模糊情况）
2. 积分/平均运算对高频数据的影响（滤波）
3. 文尾提供图片。

边缘检测

数字图像中边缘算法的实验研究，获取：

1. 什么叫边缘检测（提出图像的基本轮廓架构），与图像处理/识别有何关系（最基础的内容之一）
2. 一幅图像的主要信息（轮廓框架），图像的特征，图像边缘与图像特征（图像场中可用作标志的属性）的关系
3. 什么叫图像的边缘（指周围像素灰度有阶跃变化或屋顶变化的那些像素的集合）
4. 边缘检测的要求：速度快、定位准确、噪声抑制强
5. 文尾提供图片。

下面提供更详细的参考：不建议看了，太花时间，上面已经足够理解边缘检测了。

百科·边缘检测

维基·边缘检测

图像噪点

备注：其实就是图片具有较强的颗粒感，在信号处理方便，噪声就是高频分量。

百科·噪点，获取：

1. 区分坏点（杂点总是出现在同一个位置）与噪点（随图像内容产生，位置随机）
2. 像素点以电压值保留（8bit/12bit等），在真实值上附加干扰（波动电压值），改变了电压值，所以颜色变化。
3. 产生原因：本质原理（感光元件存在热稳定性问题，就是成像的质量与稳定有关）
   1. 长时间曝光（快门速度低，sensor感光区域长时间接受信号）
   2. 用JPEG格式对图像压缩而产生的噪点（此时为马赛克噪声），这是编码造成的噪点
   3. 模糊过滤造成的噪点（成因：突出色彩边缘、图像锐化），也就图像被过渡处理造成
   4. 感光元件面积太小造成噪点，摄像头的问题

曝光

百科·曝光，获取：

1. 曝光的概念（开窗接收阳光的比喻）
2. 正确曝光的因素（光圈（摄像机参数）、快门速度、ISO（感光度，sensor参数））

从ISP当中学到的图像处理知识（详细看文档《Hi3519V100 ISP 3A开发指南》，只看简述即可）

理解--曝光量

控制方式：根据自动测光系统获得 当前图像的曝光量，再自动配置 镜头光圈、 sensor 快门及 增益来获得最佳的图像质量。 AE 算法也支持客户设定更灵活的 曝光分配策略。

1. 曝光时间： sensor （具备感光区域）积累电荷的时间，是 sensor pixel 从开始曝光到电量被读出的这段时间。
2. 曝光增益：对 sensor 的输出电荷的总的放大系数，一般有数字增益和模拟增益，模拟增益引入的噪声会稍小，所以一般优先用模拟增益。
3. 光圈：光圈是镜头中可以改变中间孔大小的机械装置。曝光量=（光圈+快门）的组合产生。
4. 抗闪烁：由于电灯的电源工频与 sensor 的帧率（摄像头自身的曝光周期，也就是输出原始图像帧的帧率）不匹配而导致的画面闪烁，一般通过限定曝光时间和修改 sensor 的帧率来达到抗闪烁的效果。（稳定输入的光流，获取平衡的曝光效果）

理解--色温

控制方式： 色温随可见 光的光谱成分变化而变化，在 低色温光源下，白色物体偏红，在 高色温光源下，白色物体偏蓝。人眼可根据大脑的记忆判断，识别物体的真实颜色， AWB 算法的功能是降低外界光源对物体真实颜色的影响，使得我们采集的颜色信息转变为在理想日光光源下的无偏色信息。

1. 色温：色温是按绝对黑体来定义的，光源的辐射在可见区和绝对黑体的辐射完全相同时，此时黑体的温度就称此光源的色温。
2. 白平衡：在不同色温的光源下，白色在传感器中的响应会偏蓝或偏红。白平衡算法通过调整 R, G, B 三个颜色通道的强度，使白色真实呈现。（也就是依赖白色作为参照颜色调节）

理解--光谱

控制方式： sensor 对光谱的响应，在 RGB 各分量上与 人眼对光谱的响应通常是有偏差的，通常通过一个色彩校正矩阵校正光谱响应的交叉效应和响应强度，使 前端捕获的图片与 人眼视觉在 色彩上保持一致。（个人理解为将 参考色彩RGB设定为同一常量）

1. 色彩还原：通常通过一个色彩校正矩阵校正光谱响应的交叉效应和响应强度，使ISP 处理后的图片与人眼视觉在色彩上保持一致。
2. 饱和度：也称色彩的纯度。取决于该色中含色成分和消色成分(灰色)的比例。含色成分越大，饱和度越大；消色成分越大，饱和度越小。

理解即可：

     Sharpen 模块用于 增强图像的清晰度，包括 调节图像边缘的锐化属性和 增强图像的细节和纹理，同时还能 控制图像水平和垂直方向的边缘锐化的强度。此外，还能 控制锐化后的图像的 overshoot 和 undershoot，以及 抑制噪声的增强。

安迅士公司（下面的文章链接，都来这家公司）

认证链接：主要是里面的 网络视频技术指南

学习链接： 在线课程、 网络文章（本人主要参考资料）、 视频

该公司为监控公司，全球提供服务，本次项目仅编码（IPC其中一个功能，并没有图像处理等功能）。

网络视频技术（60秒左右的视频，将基本概念秒入大脑，网速慢的话，就不用打开了）

1. 热成像：夜间摄像头原理
2. 帧速与快门速度：捕捉图像速度
3. 图像噪点：抽取一群像素点，像素点以电压方式表示，电压的波动大小（占比）造成像素点表示颜色脱离真实，形成噪点。
4. 自动聚焦：聚焦也称为对焦
5. 宽动态：强光或黑暗环境下，调整亮度范围，模拟人眼的亮度适应性。

网络文章（大量内容，根据需要挑选解读，下面是本人学习过程中的所阅读的）     

成像介绍，获取：

1. 调节光线（光照方向--镜头旋转、光照强度--曝光设置、色温--白平衡）
2. 曝光时间短--运动模糊，光圈小（此时光圈值大）--增加景深
3. 解释景深
4. 分辨率（作用不大）
5. 宽动态（两次不同的曝光，拍摄两张图片合并，以获得动态范围更宽的最终图像）

图像质量，获取：

1. 光（光的成像原理）与图像质量
2. 摄像机（光圈--景深、快门--运动模糊、增益--图像噪点）与图像质量
3. 色温（白平衡）与图像质量
4. 抗闪烁、宽动态与图像质量
5. 压缩率（有损压缩）与图像质量

摄像机参数，获取：（知识比较广，如果不想了解这么多，可以选择跳过）

1. 感光度（理解测量最低照度lux的两种方式）
2. 镜头要素（三种视野）
   1. 解释了“鱼眼”效果
   2. 影响进光量（曝光效果）三因素：镜头聚光能力（光圈），曝光时间（sensor接收光的时间），放大器增益（加大图像亮度，但同时也放大了噪声）；首选，前两个调节曝光。
   3. 长曝光--运动模糊；增加光圈--景深效果下降
   4. 延长曝光时间--提高图像质量（曝光效果好了），但运动拖尾（每帧曝光时间延长，视频总帧率下降）
   5. 景深：指清晰显示焦点近处及远处物体的距离
3. 光圈控制（针对光圈的讨论，可以回顾一下光圈到底起到什么作用），光圈的孔径开闭合的能力。
4. 图像传感器（用于感光，光信号转电信号），两种（CCD/COMS）
5. 图像扫描技术（隔行、逐行）
6. 图像处理（背光补偿、曝光区、宽动态范围）
7. 远程变焦（移动镜头）、远程对焦（不移动镜头）和像素技术器（可理解为ROI）

分辨率，获取：（视频显示的标准）

1. NTSC与PAL分辨率的解析，以及去隔行
2. HDTV分辨率
3. 图像宽高比（4:3/16:9）

视频压缩，获取：

1. 视频压缩
   1. 压缩原理（减少冗余信息）
   2. 时延（文件压缩、传送、解压和显示所需的总时间），压缩算法越高级，时延越长。
   3. 压缩效果（码率、质量、时延）
   4. 差分编码（H.264叫做预测编码，去掉冗余信息的最关键算法）
   5. IPB帧（图文）
2. 压缩格式（可以跳过，但看了会更好一点）
3. 码率控制（CBR、VBR）

下面是海思MPP提及到的专业名词，部分解析字节摘录文档

---

DCI 是 自动对比度增强的简称（ Dynamic Contrast Improvement） MPP-209页

     根据当前图像的亮度分布情况，动态地调整图像的亮度和对比度。由于环境的影响，采集到的图像往往会出现偏暗、偏亮和对比度不足的情况。DCI将偏亮的图像亮度调小，偏暗的图像亮度调大，增加单调图像的对比度，减少亮度变化过大的图像的对比度。

点评：有点类似于WDR模式

注意：这部分不感兴趣就不要点击了。

---

维基·图像处理

知乎·数字图像处理快速入门

图像处理入门教程

数字图像处理的基本原理和常用方法

图像处理领域的二十四个典型算法