计算成像 论文速递 | Nature 2023, All-analog photoelectronic chip for high-speed vision tasks

注1:本文系“最新论文速览”系列之一,致力于简洁清晰地介绍、解读最新的顶会/顶刊论文.
注2: 论文速览十分粗略，仅起到及时介绍的目的。若希望详细了解，强烈建议阅读原文

Y. Chen et al., “All-analog photoelectronic chip for high-speed vision tasks,” Nature, vol. 623, no. 7985, pp. 48–57, Nov. 2023, doi: 10.1038/s41586-023-06558-8.

摘要

• 本文提出了一种结合光电计算的全模拟芯片ACCEL,实现了每秒4.6P算力、每瓦74.8P算力效率,分别比当前最先进的计算芯片高1个数量级和3个数量级。
  • ACCEL前端利用衍射光计算进行特征提取,后端利用光生电流进行模拟电子计算,无需ADC,大大降低了能耗和延迟。
• 在多项图像分类任务上,ACCEL实现了85.5%~97.1%的准确率,甚至优于全数字神经网络。
  • 自适应训练方法能有效补偿制造缺陷和误差。
  • 在低光照条件下仍保持强稳健性。
• ACCEL开辟了一条结合光子和电子优势的全新计算范式,在低功耗、低延迟等多方面展现出巨大应用前景。

导言

• 机器视觉任务(如自动驾驶)对计算速度和能效提出了更高要求,但