极限学习机(Extreme Learning Machine,ELM)详解

ELM

ELM的提出目的是为了解决人工神经网络训练时耗费的时间和高成本。对此，2004年由南洋理工大学的黄广斌提出了ELM学习理论

机器或者生物学习可以不需要调整隐层节点：给定任何连续目标函数或者可分类目标，只要前馈神经的隐层节点是非线性阶段连续的，神经网络无需调整隐层节点就能任意逼近目标连续函数或者对分类目标加以区分。

ELM考虑的主要问题在于高泛化能力、尽可能少的人工干预以及实时学习

第$i$个隐层节点的输出方程为
$$h_i(x)=G\left(a_i,b_i,x\right)$$

最后再根据任务是做分类还是回归，单分类还是多分类来进行加权求和得到输出结果
$$f(x)=\sum _{i=1}^L{\beta }_{i}G\left(a_i,b_i,x\right)=\beta H$$
对于有$N$个批次的样本$x_i$，目标函数就是使得$min\mid \mid f(X)-T\mid \mid min||f(X)-T||$，最小化损失函数
$$E=\sum _{i=1}^N{\left[f\left(x_i\right)-t_i\right]}^2$$
传统的梯度下降不断迭代就可以调整所有的参数，但在这里$H$是固定的，以训练过程只需要求解方程$\beta H=T\beta H=T\beta H=T$中的输出权重即$\hat{\beta }=T{H}^{-1}$

OS-ELM(Online Sequential ELM)

因为ELM是一种 batch based 的算法，所以这就意味着在训练阶段，它需要获得所有的训练数据，然后 train then test，而不是随着新数据的到来在线更新。所以黄广斌教授的团队又提出了在线顺序超限学习机算法，用于在线学习并更新网络参数，OS-ELM具备了ELM的速度和泛化能力上的优点，并且可以随着新数据的到来不断更新模型，而不是重新训练模型。
OS-ELM分为两个部分，

• 第一部分为通过少量的训练样本，利用ELM算法计算并初始化输出权重${\beta }_0$
  ​- 第二部分开始在线学习，每次当一个新的数据样本到来时，通过一个递推公式得到新的输出权重${\beta }_1$，从而实现在线且快速的训练
  
  参考:
• A Fast and Accurate Online Sequential Learning Algorithm for Feedforward Networks

https://blog.csdn.net/FrankieHello/article/details/89949004