1.3读论文笔记：M. Raissi a等人的Physics-informed neural networks：A deep learning framework for solving forw..

Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations
M. Raissi , P. Perdikaris , G.E. Karniadakis
这篇文章是从在一篇文献（Physics-Informed Neural Networks for Power Systems）中反复出现的，参考了里面的很多，所以打算拿出来看看。还是以知云的翻译为主。理论性比较强，以了解思路为主，暂时还没每个公式仔细看与编程实现。
**摘要：**引入 physics-informed neural networks——其中神经网络被训练来解决监督学习任务，同时遵守由一般非线性偏微分方程所描述的任何给定的物理定律。这项工作主要解决两类问题：数据驱动的解决方案和偏微分方程的数据驱动发现。根据可用数据的性质和排列，我们设计了两种不同类型的算法，即连续时间模型和离散时间模型。第一类模型形成了一个新的数据高效时空函数逼近器家族，而后者允许使用任意精确的隐式龙格-库塔时间步进方案，具有无限数量的阶段。通过一系列经典问题，如流体、量子力学、反应扩散系统和非线性浅水波的传播，证明了该框架的有效性。
1. Introduction
在小数据的情况下，绝大多数最先进的机器学习技术(如深度/卷积/循环神经网络)都缺乏鲁棒性，无法提供任何收敛保证。对于物理和生物系统建模的许多案例来说，存在大量的先验知识，而这些知识目前还没有被用于现代机器学习实践。如果是原则性的物理法则，或者是一些经验验证的规则或其他领域的专业知识，控制着系统的时间依赖的动态，那么这些先验信息可以作为一个正则化代理，将允许的解决方案的空间限制在一个可管理的大小。

2. Problem setup
整个工作中，我们一直使用相对简单的深度前馈神经网络架构，具有双曲正切激活函数，并且没有额外的正则化(例如，L1/L2惩罚、 dropout等)。每个数值例子都伴随着对我们使用的神经网络架构的详细讨论，以及它的训练过程的细节(例如优化器，学习率等)。最后，附录a和附录B提供了一系列旨在证明所提议方法性能的全面系统研究。
考虑一般形式的参数化非线性偏微分方程：

u(t, x) denotes the latent (hidden) solution, N [·;λ] is a nonlinear operator parametrized by λ
给定系统的噪声测量，我们感兴趣的是两个问题：第一个问题是inference,filtering and smoothing, or data-driven solutions of partial differential equations [4,8] which states: given fixed model parameters λ what can be said about the unknown hidden state u(t, x) of the system? 第二个问题是 learning, system identification, or data-driven discovery of partial differential equations [5,9,14] stating: what are the parameters λ that best describe the observed data?
3. Data-driven solutions of partial differential equations（第一个问题）
首先计算数据驱动解决偏微分方程(即上述第一个问题)一般形式的ut + N (u) = 0,在3.1和3.2节中，我们提出了两种不同类型的算法，即连续时间模型和离散时间模型
3.1. Continuous time models
定义 f (t, x) 为等号左侧,即 f := ut + N [u], 通过深度神经网络逼近u(t,x)，产生物理信息神经网络f(t,x)，该网络具有与表示u(t,x)的网络相同的参数，尽管由于微分算子N的作用他们具有不同的激活函数。通过最小化均方误差损失，可以学习神经网络u(t,x)和f(t,x)之间的共享参数 ：

Example (Schrodinger equation)

3.2. Discrete time models

Example (Allen–Cahn equation)

4. Data-driven discovery of partial differential equations
4.1. Continuous time models
在这个例子中我们观察到，物理信息神经网络能够正确地识别未知参数λ1和λ2，即使训练数据受到噪声的破坏，精度也很高。通过利用基础物理，从辅助测量中推断出持续的兴趣量，这是一个很好的例子，说明了基于物理的神经网络必须提供的增强功能，并突出了它们在解决高维逆问题方面的潜力。
4.2. Discrete time models
我们介绍一种不同的方法，该方法仅使用两个数据快照来处理数据驱动的发现问题。我们将看到，如何利用经典的龙格-库塔（Runge–Kutta ）方法，构建离散时间物理信息神经网络，即使在数据快照之间的时间间隔非常大的情况下，也能保持较高的预测精度。
5. Conclusions
介绍了基于物理的神经网络，这是一类新的通用函数逼近器，它能够编码控制给定数据集的任何潜在物理定律，并且可以用偏微分方程来描述。在这项工作中，我们设计数据驱动的算法来推断一般非线性偏微分方程的解，并构建计算效率高的物理信息代理模型。应用包括但不限于物理过程的数据驱动预测、模型预测控制、多物理/多尺度建模和仿真。
最后，附录a和附录B提供了一系列旨在证明所提议方法性能的全面系统研究

学习概念：
自动微分：自动微分百度百科就讲得不错
龙格-库塔(Runge-Kutta)方法：龙格-库塔(Runge-Kutta)方法数学原理及实现