nature文章再也会出现模糊图片An integrated imaging sensor for aberration-corrected 3D photography

说来惭愧，竟然没有去拜读nature science期刊的论文，知道lecun发过深度学习的论文，以前误认为上面大多为基础基础理论的论文。结果看到清华大学的用于像差校正 3D 摄影的集成成像传感器， 才知道技术做好了，也可出顶尖论文。

Dr.Zheng 给我说过，他们老板就常常让他think big，他也说“我们老板就是与众不同”，对能从树木中想到提炼用于汽车成型的材料，确实牛。不过，他老板 不能区分我和他的模样。并让我多关注MIT的。Think Big.

上午还关注了他的活动，如蔻享--共享科学、传播科学

1 论文背景

这篇作者应该是清华 吴嘉敏的，主要贡献在于提出了一种元成像传感器，可以实现更好的清晰度，并在交通、探月、深度学习、工业领域应用进行说明。正文不长，但是补偿材料更长。

原文地址：An integrated imaging sensor for aberration-corrected 3D photography | Nature

 

微观尺寸！！

机器翻译，不准！Abstract

2 元成像传感器的原理

"提出了一个元成像传感器的框架，将编码微透镜阵列集成在高速压电级中，然后将其结合到传统成像传感器上，感光区域位于后焦平面。微透镜阵列（图1a）。每个微透镜将来自不同角度的光聚焦到不同的传感器像素上进行角度采样（图1b，对应于 15 × 15 角度像素）。每个微透镜的孔径尺寸仅为像面衍射极限的十倍左右，它为非相干光场引入了衍射效应，并通过频率混叠保留了角度分离过程中的高频信息（扩展数据图1a， b）。通过增加微透镜孔径的尺寸，衍射效应将逐渐降低，导致空间分辨率降低（扩展数据图1c）。与之前的扫描光场技术33不同，我们进一步在每个微透镜上涂上具有圆形图案的铬膜，以阻挡通过每个微透镜方形足迹周围角落的光（参见 方法和图1a）。这种圆形孔径减少了无伪影重建的光学传递函数中的零点，这对于没有在荧光成像中应用稀疏先验的通用成像场景是必不可少的（扩展数据图1d-g）。然后我们使用微透镜阵列的高速周期性漂移来增加受微透镜物理尺寸限制的空间采样密度，这可以消除 ISA 的频率混叠（扩展数据图2a-f）。在根据相空间中的微透镜位置组装具有相同角度的像素后（图1b），我们应用基于反卷积的 ISA 算法获得全分辨率焦点堆栈或具有扩展深度的全焦点图像成像镜头的场和衍射极限分辨率（参见 方法和扩展数据图3a-f）。可以基于多视图立体同时检索高密度深度图（参见 方法）。元成像传感器可以直接替代传统的成像传感器，无需额外的硬件修改（图1c）。"

我的理解是在现有成像传感器基础上，做了多角度的成像，比现有的2D，增加额了一个角度方向的纬度。

如下图图1a右侧，多个棱镜，在1b右侧，会出现多个角度的图像，通过DAO算法，实现高清成像。如图1f最右的图。

Fig. 1: Principle of the integrated meta-imaging sensor. | Naturehttps://www.nature.com/articles/s41586-022-05306-8/figures/1a，元成像传感器（元传感器）集成了四个主要元素：每个微透镜上带有圆形强度掩模的周期性圆形图案，用于捕获每个局部区域的角度光分布的微透镜阵列，用于振动微透镜的压电台周期性阵列并增加空间采样密度以进行状态分解，以及传统的互补金属氧化物半导体（CMOS）传感器放置在微透镜阵列的后焦平面上，用于高通量光子检测。b, 元成像传感器的成像原理。来自不同角度的光（用不同的颜色标记）在每个微透镜之后聚焦到不同的像素上。高分辨率 4D 空间角度测量是通过基于微透镜位置组合具有相同角度的像素获得的，可用于生成复杂场调制图像，直至具有 ISA 的成像透镜的衍射极限。c，在所有实验中使用的带有元成像传感器的原型相机。d, 光学像差会干扰从同一点发出的光，导致二维图像模糊或不同角度分量的横向偏移。尽管所有角度分量在 2D 传感器中相干混合，但它们在元成像传感器中被分离，并且可以在后处理期间重新对齐以恢复像​​差校正的高分辨率图像；这种技术称为数字自适应光学 (DAO)。

验证

我们通过使用成本低于 1 美元的单个 3D 打印塑料透镜成像分辨率图表（国际标准化组织标准 ISO 12233）进行了实验比较（图. 2a ). 通过全局像差估计来校正系统像差（参见 方法）。

Fig.2使用单个 3D 打印塑料镜头实现 48 兆像素的高性能成像。

传统的 2D 传感器，即使配备了昂贵的相机镜头，也会受到景深和环境畸变（例如水滴和不规则眼镜）的影响，而元成像传感器在扩大景深的情况下更加稳健

图 3：通过具有扩展景深的强环境像差进行稳健成像。

3 运动校正----可用于刑侦

图 4：动态场景的基于光流的运动校正 

a，元成像传感器捕获的数据的中央视图，没有运动校正。属于他人的车牌被遮盖以保护隐私。b ，在a中标记为静态结构的放大区域。c，标记为动态结构的放大区域，说明扫描过程中由运动引起的伪影。d，刚性运动校正后的结果，由于不均匀运动而残留伪影。e，基于每个视图的光流估计的运动校正算法的管道（补充视频 2）。扫描周期的滑动窗口用于在中心时间点以相同的时间采样率将多个低分辨率图像重新对齐为高分辨率图像。估计从其他低分辨率帧到中心低分辨率帧的光流图，以计算中心时间点高分辨率网格中所有低分辨率采样点的准确坐标（用不同颜色的点标记）。然后，可以通过密集采样的分散插值和每个微透镜的精确等效扫描位置获得高分辨率图像。光流图插图中的彩色圆圈表示光流图的归一化视差矢量的比例尺，f，有和没有运动校正的动态结构的 ISA 结果。g，有和没有运动校正的静态结构的 ISA 结果。

望远镜的湍流校正

在中国国家天文台兴隆天文台（NAOC）的清华-NAOC 80-cm望远镜上将我们的元成像传感器与包含相同CMOS芯片的传统二维传感器进行了比较（扩展数据图1）。8a )。我们选择月球作为目标。

3D 成像和工业检测

讨论

在波动光学 DAO 的迭代过程中使用相位生成的 PSF，从而实现更好的图像合成和更准确的像差估计。涉及微透镜阵列的集成扫描过程，在相邻微透镜之间提供虚拟空间重叠，从而将 ISA 的高频信息分解到成像透镜的衍射极限。这种扫描过程解决了空间分辨率和角度分辨率之间的内在权衡，而传统光场中的高空间分辨率，无论是聚焦方案还是非聚焦方案，都以降低角度分辨率和景深为代价。

深度神经网络可用于加速实时应用的重建过程的每一步。如扩展数据图10d-g所示，我们使用预训练的循环反投影网络49在扫描期间对动态对象进行运动校正。尽管我们可以观察到基于学习的结果的分辨率略有降低，但在台式计算机上处​​理时间可以减少 29 倍。此外，尽管当前的元成像传感器是为灰度图像设计的，但可以通过利用角度冗余进行光谱编码来开发多色元成像传感器，而不会降低空间分辨率。