多模型读后感【1】

写在前面 本文仅仅个人学习的一些心得与整理的一些想法。

最近看了篇文章
A composite neural network that learns from multi-fidelity data: Application to function approximation and inverse PDE problems[1]
感觉最近看到了好多把HFM和LFM之间的关系解耦的，解耦成线性和非线性，然后分别进行训练，如果参数优化网络结构的话可以最小化几个网络的MSE之和。

这篇算是分成两个网络，个人理解针对不同问题也可以复杂化相应网络的结构从而调整他们的学习能力权重，比如HFM和LFM之间的关系非线性强的，就对训练非线性的关系强的网络可以层数和神经元个数都多一些，反之亦然。

还有一个点，训练线性网络的DNN没有激活函数，而训练非线性的DNN有激活函数。

文章中提到的有一句话，”如果学习非线性关系的网络加入正则化，整个MPINN则趋向于学习线性关系”，实际训练HFM和LFM之间线性关系时对于训练非线性网络的DNN也没有使用正则化。

3.1.5节里有一个控制变量的方法挺有意思，一个4x160训练HFM的网络与一个4x128训练LFM＋一个2x64训练HFM 的网络用来对比。

embedding theory也挺有意思，可惜需要系统的状态随时间变化
将x与不同时间通过低保真模型得到的数据一同输入训练HFM的模型可以学习到非线性关系。

[1]: Xuhui Meng, George Em Karniadakis,
A composite neural network that learns from multi-fidelity data: Application to function approximation and inverse PDE problems,Journal of Computational Physics,2020
https://doi.org/10.1016/j.jcp.2019.109020.