Deep learning approach to Fourier ptychographic microscopy

傅里叶ptychographic显微镜的深度学习方法

---

  卷积神经网络（CNN）在解决复杂的逆问题方面取得了巨大的成功。这项工作的目的是开发一种新的CNN框架，以重建使用计算显微镜技术，傅立叶重叠显微镜（FPM）捕获的动态活细胞的视频序列。 FPM的独特之处在于它能够通过拍摄一系列低分辨率强度图像来重建具有宽视场（FOV）和高分辨率的图像，即大空间带宽积（SBP）。对于活细胞成像，单个FPM框架包含数千个具有不同形态特征的细胞样本。我们的想法是充分利用这些大空间集合提供的统计信息，以便在顺序测量中进行预测，而无需使用任何额外的时间数据集。具体而言，我们表明，可以通过仅在时间序列实验开始时捕获的第一个FPM数据集上训练的CNN重建高SBP动态细胞视频。我们的CNN方法仅使用〜25秒重建12800×10800像素相位图像，与基于模型的FPM算法相比，速度提高了50倍。此外，CNN进一步将每个时间帧中所需的图像数量减少~6倍。总的来说，这通过减少采集和计算时间显着提高了成像吞吐量。提出的CNN基于条件生成对抗网络（cGAN）框架。我们进一步提出了混合损失函数，其结合了标准图像域损耗和加权傅里叶域损耗，这导致改进的高频信息的重建。此外，我们还利用转移学习，以便我们的预训练CNN可以进一步优化，以成像其他细胞类型。我们的技术展示了一种有前景的深度学习方法，可以在较长时间内持续监测大型活细胞群，并通过亚细胞分辨率收集有用的空间和时间信息。

---

  近年来，基于机器学习的数据驱动图像重建技术，特别是深度学习（DL）[1]，在解决复杂的逆问题方面取得了巨大成功[2]，并且通常可以提供超越使用状态的结果。最先进的基于模型的技术。传统上，解决逆问题涉及首先明确地制定成像模型并结合域和先验知识（例如，通过使用正则化技术），然后找到解析解（例如通过优化程序）[3]。与基于模型的方法不同，“端到端”DL框架没有明确地利用任何模型或先验，而是依赖于大型数据集来“学习”潜在的逆问题。这种DL方法的结果包括两个重要组成部分。首先，来自训练阶段的结果是CNN，其对应于将测量与解决方案相关联的合理的底层映射函数。其次，经过训练的CNN可用于在训练阶段使用在训练阶段未使用的新测量值时进行“预测”。由于预测过程，第二部分在计算成本和典型图像重建问题的速度方面具有重大的实际益处。简单地涉及CNN的前馈计算，通常在普通等级GPU上花费不超过几秒钟。相比之下，大多数现代基于模型的技术依赖于迭代算法[4-6]，这需要更高的计算成本和更长的运行时间;每次新测量都需要重复相同的冗长过程。

  在这里，我们区分两类成像问题：那些涉及通常静态对象的独立数据集，以及处理与动态对象在时间上相关的顺序数据集的那些。在独立问题中，CNN已经被证明可以提供卓越的性能来解决许多具有挑战性的成像问题，例如图像超分辨率[7,8]，去噪[9,10]，分割[11]，反卷积[12,13]，压缩成像[14,15]，断层扫描[16,17]，数字标记[18]，全息[19,20]，相位恢复[21]，以及通过扩散器成像[22,23]。在这类问题中常见的是，通过重复相同的成像过程获得的独立准备的输入 - 输出对（即测量和解决方案）在训练阶段被呈现给CNN以优化网络的参数。在顺序问题中，动态过程的时间相关性包含附加信息，并且通常记录在视频数据集中。已经提出了各种CNN框架来学习附加的时间信息。例如，通过在视频的空间和时间维度上训练CNN来证明空间超分辨率[24]。通过学习潜在的时间统计来实现对重复过程的时间超分辨率[25]。利用基于光流的CNN来学习动态对象的运动信息[26]。通过联合学习模糊点扩散函数（PSF）和反卷积操作[27,28]，可以消除运动伪影。在所有这些情况下，CNN被设计为处理视频序列以便提取时间信息。缺点是与独立问题中使用的CNN架构相比，CNN架构不可避免地变得更加复杂，需要更多的计算资源。从根本上说，复杂性源于所使用的成像技术中的任何单个帧都不包含足够的时间统计信息。

---

提出的基于深度学习的Fourier ptychography视频重建的工作流程。

（A）通过用LED阵列从不同角度照射样品来捕获强度数据。 （B）训练CNN重建高分辨率相位图像。 CNN的输入是低分辨率强度图像; CNN的输出是使用[29]中的传统FPM算法重建的地面实况相位图像。 然后通过优化网络参数来训练网络，该参数最小化基于网络的预测输出和地面实况计算的损失函数。 （C）在0分钟时使用第一数据集对网络进行完全训练，然后可以用于逐帧预测动态细胞样本的相位视频。

---

  在这项工作中，我们开发了一种CNN架构，用于重建基于傅立叶重叠显微镜（FPM）的计算显微技术捕获的动态活细胞的视频序列[29,30]。 FPM的独特特征是其能够利用宽视场（FOV）和高空间分辨率（即，大空间带宽积（SBP））定量地重建相位信息。对于必须为FOV交换空间或时间分辨率的传统技术而言，这是不可能的。对于活细胞成像应用，这允许人们同时对大细胞群进行成像（例如，在[29]中的单个帧中超过3400）。相同类型的细胞在不同细胞状态期间经历相似的形态变化，然后在每个细胞周期重复。如果使用传统的显微镜技术一次只记录几个细胞[31]，捕获完整的动力学将需要大量的测量来覆盖整个细胞周期（通常从几个小时到几天）。我们提出的技术是基于以下观察：在任何没有精确细胞同步的活细胞实验中[32]，在任何时刻，大细胞群将包含覆盖所有细胞状态的样品。换句话说，可以通过同时对大空间集合进行成像来收集单个单元的足够的时间统计信息。基于这个想法，我们提出了仅使用来自FPM的单个帧训练的CNN。然后，我们表明，这个训练有素的CNN能够使用在时间序列活细胞实验中采集的数据集以高保真度重建大型SBP相位视频。

  现有的FPM技术受到其长采集时间的限制，这些采集时间受FPM算法的限制，FPM算法要求从相邻LED捕获的图像的傅里叶覆盖率至少重叠65％[30]。已经证明了几种照明多路复用技术可以提高采集速度[29,33]。但是，数据减少量仍受傅立叶重叠要求的限制。在这里，我们表明，类似于先前在CNN上对FPM在静态对象上的工作[34]，我们的CNN可以使用比基于模型的FPM算法对动态活细胞样本所需的图像少得多的图像进行充分训练。

  与计算机视觉应用不同，将DL应用于生物医学显微镜的一个特殊挑战是难以收集训练网络所需的地面实况数据。已经提出了各种策略，包括使用物理成像模型建立的模拟的合成数据[35-37]，使用实验数据指导模拟的半合成数据[36]，使用不同模态捕获的实验数据[8,19]，用相同的模态捕获的实验数据[36]。在这里，我们建议使用传统的FPM重建相位图像作为训练的基础事实。由于我们的技术仅需要单个帧进行训练，因此这不会增加数据采集或计算的开销。当使用实验数据作为基本事实时，它们不可避免地受到噪声的污染。在FPM中，相位重建的质量受到空间变异像差，系统未对准和强度相关噪声的限制[38]。已经证明使用噪声标记数据的稳健学习用于图像分类和分割[39,40]。本质上，CNN捕获不变量，同时滤除随机波动[41,42]。在这里，我们表明我们提出的CNN对“地面实况”数据中的相位噪声也是鲁棒的，用于解决FPM的逆问题。

  我们基于条件生成对抗网络（cGAN）框架构建CNN，该框架由两个子网络组成，即生成器和鉴别器。生成器网络使用UNet架构[11]和密集连接的卷积块（DenseNet）[43]来输出高分辨率相位图像。鉴别器网络区分输出是真实的还是假的。我们比较网络的五种变体，它们使用对应于不同傅立叶覆盖的不同照明模式的输入测量而不同。与传统FPM类似，暗场测量导致重建中的空间分辨率提高。为了进一步细化网络，我们引入了一种混合损耗函数，除了生成器的标准图像域损耗和鉴别器的对抗性损耗之外，它还采用加权傅立叶域损耗。我们表明，这种新颖的加权傅立叶域损失导致高频信息的恢复得到改善。我们使用来自[29]的实时Hela细胞FPM视频数据来演示我们的技术。我们定量评估CNN技术随时间对传统FPM结果的性能，发现重建阶段的“泛化”退化在整个时间过程中（> 4小时）很小。

  使用Keras / Tensorflow框架，在PC Intel Core i7,32 GB RAM，NVIDIA GeForce Titan XP上进行约16小时的训练。 一旦网络被训练，重建12800×10800像素的相位图像仅需要约25秒，这比基于模型的FPM算法快约50倍[29]。

  我们的技术展示了一种有前途的深度学习方法，可以在较长时间内连续成像大型活细胞群，并通过亚细胞分辨率收集空间和时间信息。 与现有的FPM [29,30]相比，这种CNN方法通过减少采集和计算时间以及减少数据需求，显着提高了整体吞吐量。 CNN重建的相位图像提供高空间分辨率，宽FOV和低噪声引起的伪像。 我们还展示了使用转移学习重建其他细胞类型的灵活性，这使我们的技术吸引了广泛的应用。

  实际上，很难训练可以处理所有样本类型的单个网络，与基于模型的方法相比，DL方法的主要缺点。为了缓解这个问题，我们研究了转移学习，其中我们在Hela细胞上预先训练的CNN针对其他细胞类型进行了精细调整。该策略在解决样本类型的泛化限制方面的有效性也已在其他生物医学成像应用中得到证实[60]。

---

图6.使用预先训练的CNN（D-B9D20-F-cGAN）对Hela细胞进行转移学习，然后用于预测MCF10A，染色和未染色的U2OS细胞的相位。

• （a）强度图像在不同细胞类型和染色前/后变化。 图像块从相同的FOV区域获取并使用相同的照射角度。 （b）用于展示转学习的测试和培训的区域。 从（c1）重建的相位直接将预先训练的CNN应用于新数据。 （c2）30min后转学习。 （c3）[29]的基本事实。*

---

  我们使用在Hela细胞上训练的D-B9D20-F-cGAN来预测具有或不具有染色的两种其他细胞类型（MCF10A，U2OS）的相重建。在[29]中使用相同的设置捕获数据。在图6中，我们比较了两个结果。首先，我们直接将D-B9D20-F-cGAN网络应用于新数据。为了进一步细化结果，我们使用转移学习技术。具体来说，我们从预训练网络中获取权重，并使用新的细胞数据作为训练数据继续训练约30分钟。请注意，这些新细胞数据包含显着的强度差异。通过微调模型，CNN能够产生高质量的重建。在转学习期间，我们没有使用任何验证数据，只是在30分钟的培训后直接评估新CNN的表现。结果表明，转移学习提供了一种拓宽我们技术效用的实用方法。

  我们已经展示了傅里叶图像视频重建的深度学习框架。所提出的CNN架构充分利用了FPM独特的高SBP成像能力，因此可以使用单帧进行训练，然后推广到全时间序列实验。此外，CNN需要减少图像数量以进行高分辨率相位恢复。每个高SBP图像的重建花费不到30秒。总的来说，该技术通过减少采集和重建时间显着提高了FPM系统的成像吞吐量。我们的技术的核心思想是基于观察，即每个FPM图像包含覆盖整个时间序列实验中所有形态信息的大型细胞集合。根据遍历性原理，在单个帧中从这些大空间集合中学习的统计信息被证明足以以高保真度预测时间动态。在实践中，我们表明我们训练有素的CNN可以成功地重建动态活细胞群的高SBP相位视频，同时减少噪声伪影。使用条件生成对抗网络（cGAN）框架和加权傅里叶损失函数，所提出的CNN能够更有效地学习在暗场数据中编码的高分辨率信息。该技术可以在体外活细胞成像中找到广泛的应用，并以数据和计算有效的方式收集大规模的空间和时间信息。我们还证明，转移学习是一种实用的方法，可以对大量新细胞样本进行成像，从而无需从头开始训练全新的CNN。