DL-FWI 问题与技术的对照 (未完，等建议)

摘要: 从地震数据反演速度模型, DL-FWI 涉及一些核心问题 (也称关键科学问题), 它们需要相应的技术来解决.

1. 关键问题

1.1 如何保障模型的拟合能力?

拟合能力是指: 使用训练数据$${\mathbf{D}}^r=\{{\mathbf{x}}_i,{\mathbf{y}}_i{\}}_{i=1}^n$$训练网络 (参数用 $\Theta$ 表示) 后, $${\mathbf{y}}_i^{\prime }=f({\mathbf{x}}_i;\Theta )$$与 ${\mathbf{y}}_i$ $(1\le i\le n)$ 的差距有多大. 差距越小, 拟合能力越好.
当 $n$ 较小的时候, 容易出现过拟合, ${\mathbf{y}}_i^{\prime }$ 受 $\Theta$ 的影响甚至比受 ${\mathbf{x}}_i$ 的影响更大. 在某些论文里面, 输入一个斑马的图片, 甚至也能获得所谓的速度模型, 这事儿就不靠谱.

1.2 如何保障模型的泛化能力?

泛化能力是指: 使用训练数据训练网络后, 在测试数据$${\mathbf{D}}^t=\{{\mathbf{x}}_i,{\mathbf{y}}_i{\}}_{i=n+1}^{n^{\prime }}$$上$${\mathbf{y}}_i^{\prime }=f({\mathbf{x}}_i;\Theta )$$与 ${\mathbf{y}}_i$ $(n+1\le i\le n^{\prime })$的差距有多大. 差距越小, 泛化能力越好.
这里的测试数据很可能与训练数据不服从同一分布: 它们可以来自不同的工区; 甚至训练数据为人工合成, 而测试数据为现场采集. 泛化能力是绝大多数机器学习应用面对的共同问题.

1.3 如何使结果 (速度模型) 满足物理约束?

物理约束是指: 速度模型从物理角度具有合理性. 例如: 除了断裂带, 地质应该有较好的分层. 如果速度模型呈现一种雾状, 则物理约束没得到较好的满足.
注: 这里写得不好, 需要进一步理解后重写.

1.4 如何提升结果的可用性?

可用性是指: 结果可用于方便地获得地质构造.

2. 主要技术

2.1 Encoder-decoder 结构

Encoder-decoder 结构用于将原始数据 (如地震数据) 编码 (某种意义的特征提取、数据压缩), 然后解码为目标数据 (如速度模型). 这种方案来自于图像处理, 从 DL-FWI 的角度, 可以看作为是从一种风格 (地震数据) 迁移到另一种风格 (速度模型).

2.1.1 UNet

UNet 可以看作是基本 Encoder-decoder 的升级版, 它具有跳跃连接等结构, 能够更好地完成源到目标的映射.

2.1.2 GAN

GAN 生成器与判别器构成. 生成器试图获得以假乱真的数据, 判别器则作出数据为真或假的判断.

2.1.3 RNN, LSTM, Transformer

RNN 是处理时序数据的基本网络操作, 相当于处理图片的 CNN (在 Encoder-decoder 中用到).
LSTM 是长短期记忆网络, 可以看作基本 RNN 的升级. 它使用各种门来完成复杂的操作.
Transformer 具有相当复杂的结构, 也是 ChatGPT 的基础, 后者则走向大模型, 具有更好的通用性, 但同时训练成本只有大公司才能承受.

2.2 Deep prior

Deep prior 将自然图像训练的模型进行封装, 以用于其它任务. 由于大千世界内在规律的相似性, deep prior 在很多方面获得了出乎意料的应用.

2.3 多任务学习

多任务学习使用支线任务辅助主线任务, 达到约束、正则等效果.

2.4 迁移学习

迁移学习是指使用一组数据 (可以认为它们服从相同分布) 进行训练后, 在另一组数据上使用少量数据继续训练, 然后测试. 比如, 中国医生到俄罗斯不能直接行医, 而应该进行进一步的训练, 以适应当地人的特点.

2.4.1 无监督阈自适应学习

无监督阈自适应学习是指在源域训练模型之后, 在目标域不需要标签就可以训练具有更好预测能力的网络. 它与基本迁移学习的区别在于, 并不需要目标阈数据的标签. 在地震数据中, 希望把人造数据 (模拟数据) 作为源域, 真实数据作为目标域.

2.4 PINN (physics-informed neural network)

PINN 通过对物理规律的建模, 约束神经网络满足相应规律.

3. 对应关系

2.1 Encoder-decoder 结构

Encoder-decoder 致力于保障模型的拟合能力, 但基本的 Encoder-decoder 泛化能力可能较弱.

2.1.1 UNet

UNet 致力于保障模型的拟合能力、泛化能力.

2.1.2 GAN

GAN 生成器与判别器构成. 生成器试图获得以假乱真的数据, 判别器则作出数据为真或假的判断.