Data driven governing equations approximations using DNN

本文内容源自 DATA DRIVEN GOVERNING EQUATIONS APPROXIMATION USING DEEP NEURAL NETWORKS。他的通讯作者为Ohio State University 的 Prof DONGBIN XIU，印象中好像是 JCP 的 Associate Editor。

我们提供了一个使用观察数据和深度神经网络来近似未知控制方程的数值框架。特别是，我们建议使用残差网络（ResNet）作为方程式逼近的基本构建块。 我们证明，ResNet块可以被视为一种在时间积分中精确的单步方法。 然后，我们提出了两种多步骤的方法，即递归ResNet（RT-ResNet）方法和递归ReNet（RS-ResNet）方法。 RT-ResNet是统一时间步长的多步方法，而RS-ResNet是使用可变时间步长的自适应多步方法。 本文介绍的所有三种方法均基于基础动力系统的整体形式。 结果，它们不需要时间导数数据来进行方程式恢复，并且可以应付相对粗略分布的轨迹数据。.

我们考虑一个自制系统

其中  是状态变量， 令  是流映射，则解可写成下述形式：

 我们假定  是未知的。我们的目标是使用解轨迹的数据为控制方程创建一个精确的模型。 特别是，我们假设数据是以成对的形式收集的，每个对都对应于在两个不同时间实例沿着一条轨迹的解状态。 也就是说，我们考虑

其中  是数据对的总数量，对于每个 

这里  代表着数据中的噪声，  是两个状态的时间间隔。 

关于 DNN 的结构以及一些基础知识， 我们不做介绍，只强调一点，损失函数为 MSE，简单来说便是

 

单步Resnet逼近

从动力系统的角度来看，ResNet可以被视为Euler向前时间积分器（可参见 Weinan E 的文章）， 也就是说

 

故给定  我们定义有效增量（effective increment）为

比较上式与Resnet式子，我们可知神经网络的输出为

多步 RT-Resnet逼近

我们组合 Resnet 和 RNN 的想法有

网络结构如下（注意不是N个Resnet块，而是单个Resnet块重复N次，这两者的区别在于其参数不一样）

 记  则此模型可以写为

 

多步 RS-Resnet 逼近

与RT-Resnet唯一的不同便是这是 k个Resnet， 也就是说，每步的步长 不一定相同.