Physics-informed neural networks: A deep learning framework论文笔记

论文信息

题目：Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations

期刊会议：Journal of Computational Physics

年份：18

论文地址：论文链接

代码：代码链接

基础补充

Runge-Kutta

Runge-Kutta法是用于非线性常微分方程的解的重要的一类隐式或显式迭代法
四阶Runge-Kutta法：该方法主要是在已知方程导数和初始值信息，利用计算机仿真时应用，省去求解微分方程的复杂过程

显式Runge-Kutta法：显式Runge-Kutta法是上述RK4法的一个推广。
$$y_{n+1}=y_n+h\sum _{i=1}^s{b}_i{k}_i$$
其中：
$$\begin{array}{rl}{k}_1=& f\left(t_n,y_n\right)\\ k_2=& f\left(t_n+c_{2}h,y_n+a_{21}h{k}_1\right)\\ k_3=& f\left(t_n+c_{3}h,y_n+a_{31}h{k}_1+a_{32}h{k}_2\right)\\ & ⋮\\ k_s=& f\left(t_n+c_{s}h,y_n+a_{s1}h{k}_1+a_{s2}h{k}_2+\cdots +a_{s,s-1}h{k}_{s-1}\right)\end{array}$$
$$\begin{array}{rl}& \begin{array}{ccccc}0& 0& 0& \dots & 0\\ c_2& a_{21}& 0& \dots & 0\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ c_s& a_{s1}& a_{s2}& \dots & 0\\ & b_1& b_2& \dots & b_s\end{array}\\ & =\frac{\mathbf{c}}{|{\mathbf{b}}^{\mathbf{T}}}\end{array}$$
隐式Runge-Kutta法：显式Runge-Kutta法一般来讲不适用于求解刚性方程。这是因为显式Runge-Kutta方法的稳定区域被局限在一个特定的区域里。显式Runge-Kutta方法的这种缺陷使得人们开始研究隐式Runge-Kutta方法：
$$y_{n+1}=y_n+\sum _{i=1}^s{b}_i{k}_i$$
其中：
$$k_i=f\left(t_n+c_{i}h,y_n+h\sum _{j=1}^s{a}_{ij}{k}_j\right),i=1,\dots ,s$$
显式Runge-Kutta方法的框架里，定义参数$a_{ij}{a}_{ij}$的矩阵是一个下三角矩阵，而隐式Runge-Kutta方法并没有这个性质，这是两个方法最直观的区别
$$\begin{array}{rl}& \begin{array}{ccccc}{c}_1& a_{11}& a_{12}& \dots & a_{1s}\\ c_2& a_{21}& a_{22}& \dots & a_{2s}\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ c_s& a_{s1}& a_{s2}& \dots & a_{ss}\\ & b_1& b_2& \dots & b_s\end{array}\\ & =\frac{\mathbf{c}}{|{\mathbf{b}}^{\mathbf{T}}}\end{array}$$

内容

动机

动机：

• 在分析复杂的物理，生物或工程系统的过程中，数据获取的成本过高，而且时常面临着在已知部分信息下得出结论做出决策，这些信息时常是由物理定律所描述；
• 在小数据的策略下，经过神经网络预测得到的结果缺乏鲁棒性，而且也难保证收敛；
• 考虑将这种已知的物理定律编码到学习算法中，将使得即使只有几个训练样本可用，它也可以迅速将自己引向正确的解并获得好的泛化性能。

问题定义：
非线性微分方程：
$$u_t+\mathcal{N}[u;\lambda ]=0,x\in \Omega ,t\in [0,T]$$
其中$u(t,x)$隐藏解，$\mathcal{N}[\because ;\lambda ]$是关于$\lambda$的非线性算子。

给定系统的噪声测量，主要对解决两个不同的问题感兴趣：

• Data-driven solutions of partial differential equations，第一个问题是偏微分方程的解，在给定参数$\lambda$，求系统解$u(t,x)$；
• Data-driven discovery of partial differential equations第二个问题是已知系统$u(t,x)$，求$\lambda$能描述观察数据。

这里论文根据输入坐标和模型参数对神经网络进行微分，从而获得具有物理信息的神经网络。得到的神经网络必须遵守观察测数据的物理定律的任何对称性，不变性或守恒原理，而观测数据是通过一般时变和非线性偏微分方程建模得到的。

Data-driven solutions of partial differential equations

连续时间模型

$$f:=u_t+\mathcal{N}[u]$$
其中，内涵物理信息的网络$f(t,x)$，尽管由于微分算子N的作用而具有不同的激活功能，$f(t,x)$与$u(t,x)$有着相同的参数，他们之间的共享参数通过最小化均方误差来实现：
$$MSE=MS{E}_u+MS{E}_f$$
其中
$${\mathrm{MSE}}_u=\frac{1}{N_u}\sum _{i=1}^{N_u}{\left|u\left(t_u^i,x_u^i\right)-u^i\right|}^2，{\mathrm{MSE}}_f=\frac{1}{N_f}\sum _{i=1}^{N_f}{\left|f\left(t_f^i,x_f^i\right)\right|}^2$$
其中${\left\{t_u^i,x_u^i,u^i\right\}}_{i=1}^{N_u}$是初边值训练点，${\left\{t_f^i,x_f^i\right\}}_{i=1}^{N_f}$是配置点训练数据（内部）

分析如上的损失函数

• 第一项趋于0，说明神经网络，能很好求出PDE的解，很好拟合了微分方程；
• 第二项趋于0，说明训练集上每个点都有$u_{NN}(x,t)\approx u(x,t)$
• 这样就转化成优化损失函数

创新：

• 所有之前内嵌物理知识的机器学习算法，例如支持向量机，随机森林，高斯过程以及前馈/卷积/递归神经网络，仅作为黑盒工具。这里是通过重新修改针对基础微分算子“自定义”激活和损失函数来进一步研究。
  本文通过将其导数相对于其输入坐标（即空间和时间）取导数，从而将物理信息嵌入神经网络，其中物理由偏微分方程描述。

example：
$$\begin{array}{rl}& i{h}_t+0.5h_{xx}+|h{|}^{2}h=0,x\in [-5,5],t\in [0,\pi /2]\\ & h(0,x)=2\mathrm{sech}(x)\\ & \begin{array}{l}h(t,-5)=h(t,5)\\ h_x(t,-5)=h_x(t,5)\end{array}\end{array}$$
其中$h(t,x)$是复值，定义$f$
$$f:=i{h}_t+0.5h_{xx}+|h{|}^{2}h$$
定义MSE
$$\begin{array}{rl}& MSE=MS{E}_0+MS{E}_b+MS{E}_f\\ & \begin{array}{l}{\mathrm{MSE}}_0=\frac{1}{N_0}{\sum }_{i=1}^{N_0}{\left|h\left(0,x_0^i\right)-h_0^i\right|}^2\\ {\mathrm{MSE}}_b=\frac{1}{N_b}{\sum }_{i=1}^{N_b}\left({\left|h^i\left(t_b^i,-5\right)-h^i\left(t_b^i,5\right)\right|}^2+{\left|h_x^i\left(t_b^i,-5\right)-h_x^i\left(t_b^i,5\right)\right|}^2\right)\\ {\mathrm{MSE}}_f=\frac{1}{N_f}{\sum }_{i=1}^{N_f}{\left|f\left(t_f^i,x_f^i\right)\right|}^2\end{array}\end{array}$$

求解：使用五层神经网络，每层有100个神经元以及双曲正切激活函数来估计the latent function $h(t,x)=[u(t,x),v(t,x)]$

结果图：

离散时间模型

对$u_t+\mathcal{N}[u]=0$通过q步长的Runge–Kutta方法来表示从而得到
$$\begin{array}{l}{u}^{n+c_i}=u^n-\Delta t{\sum }_{j=1}^q{a}_{ij}\mathcal{N}\left[u^{n+c_j}\right],i=1,\dots ,q\\ u^{n+1}=u^n-\Delta t{\sum }_{j=1}^q{b}_j\mathcal{N}\left[u^{n+c_j}\right]\end{array}$$
其中，满足$u^{n+c_j}(x)=u\left(t^n+c_j\Delta t,x\right)$ for $j=1,\dots ,q$，上式简化为
$$\begin{array}{l}{u}^n=u_i^n,i=1,\dots ,q\\ u^n=u_{q+1}^n\end{array}$$
其中，
$$\begin{array}{l}{u}_i^n:=u^{n+c_i}+\Delta t{\sum }_{j=1}^q{a}_{ij}\mathcal{N}\left[u^{n+c_j}\right],i=1,\dots ,q\\ u_{q+1}^n:=u^{n+1}+\Delta t{\sum }_{j=1}^q{b}_j\mathcal{N}\left[u^{n+c_j}\right]\end{array}$$
在这样的形式下，可以得到输入为$x$，输出为多输出的$\left[u_1^n(x),\dots ,u_q^n(x),u_{q+1}^n(x)\right]$

example
$u_t-0.0001u_{xx}+5u^3-5u=0,x\in [-1,1],t\in [0,1]$
$u(0,x)=x^2\cos (\pi x)$
$u(t,-1)=u(t,1)$
$u_x(t,-1)=u_x(t,1)$

Runge–Kutta方法得到：
$$\mathcal{N}\left[u^{n+c_j}\right]=-0.0001u_{xx}^{n+c_j}+5{\left(u^{n+c_j}\right)}^3-5u^{n+c_j}$$

结果图：

相关实验： Burger’s equation 连续模型

• 对比了$N_u,N_f$取值与error关系，参与训练数据越多，得到的误差越小。（但是，训练数据相比于常见网络训练已经很少了）
• • 同时也对比了不同网络层和神经元数目对error影响，网络越复杂相对来说还是error小一些的。
    
    Burger’s equation 离散模型
• 影响离散模型算法关键参数是$q$，$\Delta t$
• 测试了训练样本与error关系，训练样本越多，error越小
  

Data-driven discovery of partial differential equations

求解逆问题：

Continuous time models

example：Navier–Stokes equation
$$\begin{array}{l}{u}_t+{\lambda }_1\left(u{u}_x+v{u}_y\right)=-p_x+{\lambda }_2\left(u_{xx}+u_{yy}\right)\\ v_t+{\lambda }_1\left(u{v}_x+v{v}_y\right)=-p_y+{\lambda }_2\left(v_{xx}+v_{yy}\right)\end{array}$$
求解：参数$\lambda 1$,$\lambda 2$

结论

引入了含物理信息神经网络，这是一类新的通用函数逼近器，它能够对含物理信息的数据集进行编码，并且可以用来描述偏微分方程。

不足

• Runge-Kutta这种融合数值方法的逼近方法，由于是通过序列迭代收敛得到解，只能求序列点上的数值，不像连续方法可以求解定义域内任意一点的值。

不懂

• 神经网络的设计，设计什么样的网络，网络深度以及训练数据大小的设计