SONY的IMX500浅谈

2020年5月14日，索尼发布了全球首款具备AI处理的CMOS图像传感器IMX500
可以从下面的这张表格，看到IMX500的一些关键指标：

用一句话来概括就是：通过3D堆叠，将sensor单元与memory&computing单元集成起来，在一个芯片内部完成对图像信号的感知、存储和计算。

这样带来的好处就是：low latency，low power，low cost，more secure

low latency：3D集成使得sensing单元与memory&computing单元的物理距离更近，数据移动更快；

low power：任务运行的大部分功耗在于数据在memory与computing单元之间的频繁搬运，memory与computing单元在一个chip，功耗降低；

low cost：IMX500 使用行业标准的 M12（S 卡口）镜头。部署新的 AI 模型，并将相同的硬件重用于不同的任务；

more secure：获得到的图像数据从不离开整个chip，输出的只有神经网络运行结果，保护原始数据安全

sony官方对于IMX500的信息披露很少，可以关注一下ISSCC 2021会议sony的报告

上图为IMX500集成示意图和实拍图

图片的上半部分是IMX500的模块运算示意图，外界图像信息通过pixel array采样，经过ADC转换，交由后续的ISP（image signal processor：对输入CNN图像进行预处理）和DSP（digital signal processor：运行CNN模型）进一步处理。图片的下半部分可以看到，通过selector进行选择，可以输出原始图像数据和CNN网络运行结果。