音视频基础认知——ISP与DSP

很多人在学习完linux后不知道应该学什么，并且对于音视频领域的认知只限于道听途说。

这里介绍两个音视频的方向——ISP与DSP

ISP

ISP——Image Signal Process图像信号处理

我们先来看这张图

当看到系统框架图的时候千万不要害怕，一个块一块，一个功能一个功能去看，就可以清晰很多。

• image sensor core——图像传感器核心
  这一部分主要是用于视频采集，就是sensor把拍到的东西（模拟信号）转化成电子设备看得懂的东西（数字信号），此时的数字信号是视频流，格式为rawRGB。这个就是模数转换
  摄像头后面有个感光元器件，这个感光元器件就被称为sensor。

• image sensor processor——图像传感器处理
  这一部分就是将数字信号进行一系列的处理。
  这一个模块收到的信号就是由sensor模块转换过的rawRGB的视频流。
  ISP 处理的就是这个rawRGB流，主要工作就是视频调优。内容有线性纠正、噪声去除、黑电平矫正、坏点去除、颜色插补、Gamma矫正、RGB2YUV转换、主动白平衡处理、主动曝光控制、3A算法等
  等等。
  ISP处理完后就是compression压缩，和format转换。这是因为rawRGB占用空间很大，不利于传输和存储，也不能用于后面的DSP。

若想了解这其中的格式转换，需要先分别了解它们各自的存储方式 。
这些格式我都做了整理，放在下面供大家学习
详解YUV数据格式
详解RGB数据格式

• image output interface——图像输出接口
  将ISP处理完的视频流输出给下一个模块DSP，或者直接输出为图像
  这里的FIFO是一个缓冲机制，以免右边的输出停止或者左边断了
  图像输出接口将视频流输出给DSP

DSP

DSP通常有两个含义。

• 数字信号处理（Digital Signal Processing，DSP），是一门学科技术，使用数值计算的方式对信号进行加工处理的理论和技术。

• 数字信号处理器（Digital Signal Processor，DSP），是一种专门用于数字信号处理领域的微处理器芯片。

这里说的是DSP——Digital Signal Process数字信号处理

这里的数字信号，指的是将由sensor采集，ISP处理后的rawRGB视频流压缩转换的YUV格式视频流。

DSP是我选择的方向，介绍在下面两篇博文中

音视频项目中的DSP流程

音视频DSP中的IVS算法处理流程