Multi-fidelity DNNs : 多精度深度神经网络

这篇文章介绍一种用来拟合多精度数据的神经网络。 在科学计算中，低精度的数据往往是廉价的、大量的；高精度数据则不同，他们是昂贵的、少量的，所以如何充分利用不同精度的数据来得到更加 precise 的结果便是一个需要解决的问题。这里我们利用神经网络给出了一个回答。
基本思想
想法很简单。假定 $\{x_i,y_i{\}}_{i=1}^{N_l}$ 是我们有的低精度数据，其中 $x_i$ 是输入变量， $y_i$ 是预测变量； $\{x_i,y_i{\}}_{i=N_l+1}^{N_l+N_h}$ 是高精度数据。 一般情况下, $N_l>N_h$， 在一些paper 中，它的取值可能是3 倍，5倍或者更多。
利用神经网络与监督学习的想法，主要有以下几个步骤：

• 给定低精度数据$\{x_i,y_i{\}}_{i=1}^{N_l}$, 我们可以训练一个低精度的神经网络， 记作 ${\mathcal{N}\mathcal{N}}_{lf}$;
• 同样，给定高精度的数据 $\{x_i,y_i{\}}_{i=N_l+1}^{N_l+N_h}$， 我们同样得到了一个神经网络，记作 ${\mathcal{N}\mathcal{N}}_{hf}$。
• 问题在于由于我们的高精度数据比较少，所以我们得到的 ${\mathcal{N}\mathcal{N}}_{hf}$ 是不准确的。一个简单的想法便是利用低精度的数据。
  给定 $\{x_i{\}}_{i=N_l+1}^{N_h+N_l}$, 我们令 $z_i={\mathcal{N}\mathcal{N}}_{lf}(x_i)$， 即 $z_i$ 是预测得到的低精度数据。 我们将 $\{x_i,z_i{\}}_{i=1N_l+1}^{N_l+N_h}$ 作为输入变量， $\{y_i{\}}_{i=N_l+1}^{N_l+N_h}$ 作为标签值可以训练一个新的神经网络 ${\mathcal{N}\mathcal{N}}_{lf\to hf}(x_i,{\mathcal{N}\mathcal{N}}_{lf}(x_i))$， 用来将低精度的数据转化为高精度数据
  将${\mathcal{N}\mathcal{N}}_{lf\to hf}$ 应用在 $\{x_i{\}}_{i=1}^{N_l+N_h}$, 我们便得到了所有输入点上的高精度值。

数值实验

我们考虑一个函数逼近的问题：

上图中$q_{lf}$ 代表低频数据， $q_{hf}$ 代表高频数据， 其中 $A=0.5,B=10,C=-5.$
数值结果如下：

第二个例子仍是函数逼近，

其结果为

第三个例子函数逼近：

结果为：

最后我们举一个解ODE的例子：

精确解为：

我们已知的数据为：

最后的结果为：

数值实验的GitHub代码链接为：
https://github.com/xdfeng7370/Multi-fidelity-neural-network-

参考文献

【1】 Xuhui Meng and George Em Karniadakis. A composite neural network that learns from multi- fidelity data: Application to function approximation and inverse pde problems. Journal of Computational Physics, 2019.
【2】 Mohammad Motamed. A multi-fi delity neural network surrogate sampling method for uncertainty quanti fication. 2019.