嵌入式视频处理基础

生理学上，我们的眼睛包含两种视觉细胞，一种是杆状细胞，对亮度敏感（对色度不敏感），使我们具备夜视能力，一种是视锥细胞，对400nm~770nm波长的光比较敏感，即色彩，后者有三种，跟三色理论对应，虽然三种细胞的响应特性有重叠，总体来说，对555nm的绿光最为敏感，因此LCD中，绿色通道的分辨率最高。同时，数量上前者远大于后者，由此可以借助色彩的子采样来节省视频和图像信息的带宽。

另外，人眼对亮度的感受特性是对数性的，而非线性的，换句话说，用于产生50%灰度图（恰好在中间）所需的实际光强仅为我们需要产生全白图像所需的18%。这特性在相机传感器和显示技术中很重要，例如伽马校正，还将导致人眼对高亮度环境下的量化失真的感知度下降，导致这特性被许多多媒体编码算法所利用。

另外，人眼可以创建自己的白光参考，而摄像头传感器不具备这一特性，才会有白平衡控制。

人眼对高频信息的敏感性要比低频信息低，而且虽然可以分辨出静态图像中的细节和彩色部分，但对快速移动的图像，无法做到。于是，利用DCT,FFT以及低通滤波，降低总带宽。

当图像帧率低于50~60Hz时，人眼会感受到一种亮光闪烁的效应，在光线较暗的情况下，该频率值降低到24Hz,我们更倾向于观察到大而均匀的区域内闪烁，相比之下，局部区域的闪烁敏感度要低，这些特性对隔行视频，刷新速率和显示技术有重要的潜在作用。

例如NTSC（PAL）的帧刷新速率设置为30（25）帧时，大片图像区域的刷新速率为60（50）Hz,而局部区域刷新速率为30（25），这也是出于节省带宽的折中考虑，因为人眼对大面积区域的闪烁更敏感。

要注意的是，视频技术在分辨率和帧率的提升是沿着两个重要分支发展的：即计算机图形图像格式和广播格式，如今在嵌入式领域，他们几乎可以互换。

伽马校正：

它描述的是人们对亮度的感受和显示本身存在的非线性。请注意，这种现象表现在两方面：

人眼对亮度的感受是非线性的，而物理设备的输出（例如LCD,CRT）对亮度的显示也是非线性的，巧合的是，人的视觉对亮度灵敏度特性几乎恰好与CRT的输出特性相反。

换句话说，显示器的亮度大约与输入的模拟信号电压的γ次方成正比，在CRT或者LCD上，该值一般为2.2~2.5,因此相机的预补偿功能，是让RGB的量值按照1/γ次方的关系来变化，该效应带来的影响是视频摄像机和计算机图像程序通过一种叫做伽马校正的流程，可以预先对RGB输出流进行预校正，以补偿显示器的非线性。

因此严格来讲，亮度Y是一个颜色科学方面的属于，而经过校正后的Y才是亮度值。

请注意：这里讲的伽马校正，只是通俗意义的讲述，实际上的伽马校正见

http://blog.csdn.net/app_12062011/article/details/23209423。

色域空间转换：

Y’ = (0.299)R´ + (0.587)G´ + (0.114)B´
Cb = ‐(0.168)R´ ‐ (0.330)G´ + (0.498)B´ + 128
Cr = (0.498)R´ ‐ (0.417)G´ ‐ (0.081)B´ + 128
R´ = Y’ + 1.397(Cr ‐ 128)
G´ = Y’ ‐ 0.711(Cr ‐ 128) ‐ 0.343(Cb ‐ 128)
B´ = Y’ + 1.765(Cb ‐ 128)

式中，Y’，R’，G’ 和 B’通常的变化范围是16～235，而Cr 和Cb的变化范围是16～240.因为如果我们使用范围内所有的色差数据，那么NTST和PAL电平将超出黑白电视发送接收所支持的电平，实验证明，调制后的载波电平的偏移量在亮度信号白电平以上，黑电平以下20%的范围内是允许的，所以选择了一个缩放因子，使得0.75幅度，100%饱和度的黄色和青色彩条正好处在白电平上。