[TPAMI 2022] 用深度神经网络解决欠定问题——考虑鲁棒性？

Solving Inverse Problems With Deep Neural Networks – Robustness Included?

https://ieeexplore.ieee.org/abstract/document/9705105

摘要

在过去的五年中，深度学习方法已经成为解决各种反问题的最先进方法。在此类方法可以应用于安全关键领域之前，必须对其可靠性进行验证。最近的工作指出了深度神经网络在几个图像重建任务中的不稳定性。类似于分类中的对抗性攻击，结果表明输入域中的轻微失真可能会导致严重的伪影。本文通过对基于深度学习的算法解决欠定逆问题的鲁棒性进行广泛研究，对这一问题提出了新的看法。这包括使用高斯测量的压缩传感以及从傅立叶和氡测量中恢复图像，包括磁共振成像的真实场景（使用 NYU-fastMRI 数据集）。我们的主要重点是计算使重建误差最大化的测量的对抗性扰动。我们的方法的一个显着特征是与总变异最小化的定量和定性比较，这是一种可证明是稳健的参考方法。与之前的发现相比，我们的结果表明，标准的端到端网络架构不仅可以抵抗统计噪声，还可以抵抗对抗性扰动。所有考虑的网络都是通过常见的深度学习技术训练的，没有复杂的防御策略。我们的方法的一个显着特征是与总变异最小化的定量和定性比较，这是一种可证明是稳健的参考方法。与之前的发现相比，我们的结果表明，标准的端到端网络架构不仅可以抵抗统计噪声，还可以抵抗对抗性扰动。所有考虑的网络都是通过常见的深度学习技术训练的，没有复杂的防御策略。我们的方法的一个显着特征是与总变异最小化的定量和定性比较，这是一种可证明是稳健的参考方法。与之前的发现相比，我们的结果表明，标准的端到端网络架构不仅可以抵抗统计噪声，还可以抵抗对抗性扰动。所有考虑的网络都是通过常见的深度学习技术训练的，没有复杂的防御策略。

引言

间接测量的信号重建在各种应用中起着核心作用，包括医学成像[1]、通信理论[2]、天文学[3]和地球物理学[4]。此类任务通常被表述为一个逆问题，其原型、有限维形式如下：

无处不在的噪声使得重建方法必须对加性扰动具有鲁棒性是必不可少的元素. 此外，测量过程通常成本高昂且可能有害。

尽管压缩感知在各种实际应用中是最先进的，但相关算法的实用性通常受到计算成本、手动参数调整以及稀疏模型和数据之间不匹配的限制。

基于最近人工智能在计算机视觉领域取得的成功[6]、[7]、[8]，已经付出了相当大的努力来通过深度学习解决逆问题(1)，例如，参见[9]，[10] , [11] , [12] , [13] , [14] , [15] , [16] , [17] , [18]和[19]最近的调查。这一进步主要基于拟合人工神经网络 (NN)在监督训练过程中对大量数据点进行建模。可以公平地说，这种数据驱动的方法在重建精度和速度方面可以显着优于经典方法。另一方面，有人可能会争辩说，神经网络的基本机制在很大程度上仍不清楚[20]。因此，在缺乏形式(2)的理论保证的情况下，对它们的准确性和对测量噪声的鲁棒性进行经验验证是至关重要的。

虽然许多作品报告了对噪声的显着恢复能力[17]、[21]、[22]，但一些令人担忧的发现表明基于深度学习的重建方案通常是不稳定的[23]、[24]、[25]、[26]。特别是最近对 Antun等人的研究。 [24]表明，逆问题的深度学习是以不稳定性为代价的，从某种意义上说，“[...] 图像和采样域中某些微小的、几乎检测不到的扰动，可能会导致重建中的严重伪影[...]”. 在关于分类的机器学习研究中，神经网络的这种敏感性是一个公认的现象。由 Szegedy等人 发起。[27]，大量文献致力于对抗性攻击（及其防御），即计算视觉上难以察觉的输入变化，从而愚弄神经网络。通常，“攻击者”利用基于梯度的信息来跨越分类器的不连续决策边界。对于错误预测会带来安全风险的敏感应用程序来说，这可能是一个严重的问题——想象一下自动驾驶中错误分类的停车标志[28]、[29]。

尽管有这些发现，但通过基于深度学习的方案解决反问题可能变得不稳定似乎很奇怪。学习重建算法可以被视为回归任务，其中测量值被映射到高维信号流形（例如，医学图像）。相反，NN 分类器映射到低维、离散输出域，从而导致“易受攻击”的决策边界。此外，众所周知，许多反问题都存在稳健且准确的算法。由于这些通常用作神经网络架构的模板，因此后者遭受严重的不稳定性似乎令人惊讶。显然，抗噪声的鲁棒性对于深度学习在实践中的应用至关重要，尤其是在生物医学成像等敏感领域。

贡献

本文致力于对基于神经网络的方法解决欠定反问题的稳健性进行全面的数值研究。我们实验的主要目的是分析重建误差随噪声水平增长的程度η. 我们从统计噪声和对抗噪声的角度研究这种关系：前者意味着测量噪声是从适当的概率分布中提取的，而后者则探索最坏情况下的扰动，使固定的重建误差最大化η. 与分类中的对抗性攻击类似，计算最坏情况噪声基于非凸公式，该公式由自动微分和梯度下降方案解决。在缺乏稳健性经验证明的情况下，我们分析的一个核心和独特组成部分是与具有可证明保证的经典基准方法进行系统比较，即总变差 (TV) 最小化。在这种情况下，评估梯度是非常重要的，并且通过展开底层优化问题来执行。

我们的实验将几个原型逆问题视为用例。这包括具有高斯测量的经典压缩传感以及从氡和傅里叶测量重建幻影图像。此外，基于 NYU-fastMRI 数据集[30]、[31] ，研究了磁共振成像 (MRI) 的真实场景。我们检查了学习重建架构的代表性选择，从简单的后处理 NN 到迭代方案。总的来说，这项工作对超过 25 个神经网络进行了鲁棒性分析，每个神经网络都使用公开可用的代码进行内部训练。1个

我们的主要发现可归纳如下：

1. 在每个考虑的场景中，我们发现基于深度学习的方法在对抗性噪声方面至少与TV最小化一样稳健。这不需要复杂的架构或防御策略。然而，对于梯度稀疏信号，没有一个训练有素的 NN 像 TV 最小化一样准确。

2. 所有受过训练的神经网络都对统计噪声具有显着的鲁棒性。尽管 TV 最小化可能会为无噪声测量产生精确的恢复，但在中高噪声条件下，它仍然优于学习方法。

3. 重建性能受底层神经网络架构的影响。例如，促进迭代方案中的数据一致性可以提高准确性和鲁棒性。

4. 人们不应该犯下使用无噪声数据训练神经网络的“逆向犯罪” ，这可能会导致较高噪声水平的不稳定行为。我们证明，简单地将高斯白噪声添加到训练测量中是一种有效的补救措施——一种在机器学习研究中通常称为抖动的正则化技术。这种适应对分布内精度的影响几乎察觉不到，但可能会影响分布外特征（参见第 5.2 节）。这导致了稳定性和准确性之间有趣的权衡

讨论

在一系列广泛的实验中，这项工作分析了基于深度学习的反问题求解方法的稳健性。我们方法的核心是研究对抗性噪声的影响，即最大化重建误差的测量的最坏情况扰动。与基于模型的参考方法的系统比较表明，标准深度 NN 方案对统计和对抗性失真具有显着的弹性。另一方面，我们已经证明，不稳定性可能是由使用无噪声数据进行训练的“逆向犯罪”引起的。在这方面一个简单的补救措施是抖动——深度学习中的标准正则化和鲁棒化技术[8]. 然而，众所周知，这并不能解决深度神经网络分类器的对抗性弱点，这需要更复杂的防御策略[84]。虽然这种防御也可以提高图像恢复上下文中的鲁棒性[26]，但我们的结果得出了一个令人惊讶的结论：在训练阶段注入高斯随机噪声似乎足以获得对其他类型的反问题有抵抗力的解决方法。噪声，包括对抗性扰动。

不可否认，有几个方面超出了我们的研究范围：

(i) 我们仅限于选择端到端的 NN 架构，不包括其他方法，例如生成模型[16]、深度图像先验[ 85]，或学习正则化器[86]。然而，由于这些算法通常涉及更多基于模型的组件，我们希望它们的鲁棒性能够与当前工作中考虑的方案相媲美。

(ii) 由于(5)的非凸性，我们的攻击策略缺乏理论最优性证明。尽管如此，我们的结果提供了我们已经充分解决问题的经验证据：最坏情况和统计​​扰动之间的差距在所有考虑的场景中似乎是一致的。更重要的是，我们已经验证了检测由对抗性噪声引起的错误放大的能力（见图11）。

(iii) 我们的分析从稳健性的数学角度出发，因此依赖于标准的相似性度量，特别是欧几里得范数。众所周知，此类定量指标对几种类型的视觉失真不敏感。例如，数据驱动方法的一个特征是它们倾向于生成逼真的图像，即使在受到损害时也是如此（参见第 5.4 节）). 这会阻碍故障模式的检测，并可能导致误报/漏报[25]。

(iv) 基于 NN 的重建的可靠性可能会受到其他缺点的影响，这些缺点与缺乏对抗鲁棒性没有直接关系。例如，即使是 2019 年 fastMRI 挑战赛的获胜网络有时也无法捕获数据中很少出现的某些微小病理特征[87]。这个问题在 2020 年的 fastMRI 挑战赛中得到了专门解决，该挑战赛侧重于病理学描述而不是整体图像质量评估[88]. 然而，这一次出现了幻觉，即重建网络产生的非物理特征。对原因和补救措施的调查似乎是未来研究的一个有前途的方向，例如，参见[89]。

人工智能对未来医疗保健的相关性是不可否认的。可靠的重建方法在该领域不可或缺，因为不稳定性引起的错误可能是致命的。鉴于医疗成像中故意操纵的威胁[90]，知道原则上可能出错的限制是令人欣慰的。具有类似实际意义的是对随机扰动的鲁棒性，这是常见成像模式的标准噪声模型。我们相信我们的工作在这两个方面都取得了进展，通过在使用深度神经网络解决成像中的反问题方面显示出乐观的结果。