浅谈sensor

---

前言

sensor作为人工智能的最前端装置，负责将外界的光信号转换为电子系统能够处理的电信号。下面介绍一下，对于后续电信号处理设计的最重要的几个指标。

一、sensor的感光原理

sensor的感光原理的基础是光电效应。sensor的感光单元，也就是像素单元，在接受到外界的光刺激之后，会产生一定的电信号，经过处理之后，就能够显示外界图像信息。

图像的发展史，从黑白照片变为彩色图像，那么如何得到彩色的显示图像呢？这就需要对像素单元作一定的处理，根据RGB三原色原理，可以通过在像素单元上方覆盖滤光膜，选择性地让像素单元只接受某一色的入射光（Red单元、Green单元、Blue单元），并将像素单元按一定的规则排列，再经过插值等方法处理就可以还原出颜色信息。

二、sensor的像素阵列

不同的sensor的滤光膜可能设计成不同的布局方式，下面是几种常见的布局


Sensor的实际像点数量通常比标准的图像分辨率（如2048x1536，1920x1080等）要大一些，多出来的像点主要有两种作用，

黑像素，即dark pixel，像点上方覆盖的是不透光的金属，相当于零输入的情况，用于检测像素的暗电流水平
滤波像素，即filter pixel，很多ISP算法会使用3x3或5x5大小的滤波窗口，因此需要在输出分辨率的基础上增加若干行、列使滤波窗口内全是有效像素

三、sensor的数据输出格式

YUV：luma(Y)+chroma(UV)格式（亮度、色度），一般情况下sensor支持YUV422格式，即Y-U-Y-V次序输出数据。
RGB：传统的红绿蓝格式，比如RGB565，5bit R + 6bit G + 5bit B，G多一位是因为人眼对绿色比较敏感。
RAW RGB：sensor的每一像素对应一个彩色滤光片，滤光片按Bayer Pattern(拜耳模板)分布，将每一个像素的数据直接输出，即Raw RGB Data。
JPEG：有些sensor，特别是低分辨率的，其自带JPEG engine，可以直接输出压缩后的jpg格式的数据。

需要根据具体应用场景来选择使用哪一种数据输出方式。比如，现在“智能”传感器，需要对前端sensor输出的信号进行进一步处理，进行CNN网络推断等，此时raw RGB格式的信号较为方便。

---

参考文章：
链接: linkUnderstanding CMOS Image Sensor
链接: linkcamera理论基础和工作原理