20221021Parallel Machine Learning for Forecasting the Dynamics of Complex Networks

拿点知识铺垫铺垫

chaotic behavior

混沌或混沌行为指的是系统中最终的结果依赖于初始条件的敏感性。虽然从数学上来讲,概率是确定的，但混沌学认为行为不可预测，无法与随机过程区分开来，混沌学研究的是自然界中系统复杂，无规律的行为。例如，变化无常的天气模式、湍急的水流，以及物体摆动。科学家曾认为它们可以精确地进行，但却发现初始条件的微小差异就能导致大相径庭的结果。混沌系统确实遵循着某种规则，数学家已经用方程式证明了这一点。但要预测混沌系统的长期动态还是太过复杂。

混沌系统

混沌现象是指发生在确定性系统中的貌似随机的不规则运动，一个确定性理论描述的系统，其行为却表现为不确定性、不可重复、不可预测，这就是混沌现象。进一步研究表明，混沌是非线性动力系统的固有特性，是非线性系统普遍存在的现象。

Motivation

• 对于动态系统，基于知识的第一原理描述是不可用的，时间序列预测是关键
• aim：具有复杂连通性和动力学的相互作用组件的大系统，比如神经科学、电网
• 应用于大型网络的动态预测时，直接应用标准最大似然预测方案变得有问题

Reservoir Computing prediction

做的是复杂网络中的时间序列预测任务

储备池计算（Reservoir Computing） - 知乎

Reservoir Computing 简介

一篇overview-ReadPaper

Reservoir Computing论文学习 - nupt想象之中 - 博客园

                

        RC 网络是有向的、稀疏的和随机的

        reservoir computer由三个部分组成，中间的RNN=Reservoir

        Reservoir computing的一个神奇之处在于，中间层的reservoir矩阵是随机生成的且生成后就保持不变，真正需要训练的只有输出层，这也使它比传统的方法快很多。 

        reservoir state更新：

• α: leakage rate，主要用来控制reservoir中各节点权重更新的速度，文中说她是控制reservoir节点时间尺度的泄漏率
• r: reservoir state vector，记录了reservoir中每个节点的权重信息
• B: reservoir的权重邻接矩阵(weighted adjacency matrix)，通常是一个稀疏矩阵，这里用Erdős–Rényi来生成(文中的生成方式没有看懂）
• Win: Nr行Nin列的矩阵，主要是用来将Nin维的输入信号转换为reservoir可接受的形式
• u(t): 输入信号，维度为Nin

        input：u，u是Nin x 1的矩阵

        Win矩阵：该矩阵将输入向量 u 在离散时间 t 映射到储备池状态变量，它们统称为储备池状态向量 r 的标量分量。向量 r 的第 k 个分量是储备池节点 k 的标量状态。输入矩阵 Win 是一个 Nr × Nin 维矩阵，

        reservoir的每个输入都发送到 Nr /Nin reservoir节点，其中 Nin 是 RC 的输入数（注意：Nr 选择为 Nin 的整数倍）。输入矩阵 Win 是一个 Nr × Nin 维矩阵。选择 Win 的元素，以使reservoir中的每个节点都从 u(t) 中准确接收一个输入，而 u(t) 中的每个输入都连接到储层网络中的 Nr /Nin 节点

        output：通过使u~(t)最接近u(t)，调整输出矩阵Wout（ridge regression procedure）

        训练过程的目标函数：

 

        超参数： (Nr、ρ，σ，α和β)

        β是用于防止过拟合的Tikhonov正则化参数

   

         预测过程中：以“闭环系统”模式自主地演变；即，在时间t的输出现在用作在时间t+∆t的输入。

Parallel ML scheme for network prediction

        预测网络中的每个节点i被分配其自己的储集器Ri。该水库的输入是节点本身的信号以及节点i网络邻居的信号。

        由于我们的并行方案使用了独立训练的水库的互连网络，因此我们可以有效地并行我们的训练过程，使系统可扩展到大型网络