机器学习教程 之 半监督学习 基于图正则项的半监督极限学习机

半监督学习是指在模型训练阶段同时利用有标签数据和无标签数据。我之前介绍过的半监督学习方法包括

1. 基于分歧的半监督学习方法
   机器学习教程 之 半监督学习 Tri-training方法 (论文、数据集、代码)
   机器学习教程 之 半监督学习 Co-training 协同训练 (论文、算法、数据集、代码)
   机器学习教程 之 半监督学习 Coreg 协同回归算法 (论文、算法、数据集、代码)
2. 基于图的半监督学习方法
   DeepLearning | 图注意力网络Graph Attention Network（GAT）论文、模型、代码解析
   DeepLearning | 图卷积神经网络(GCN)解析(论文、算法、代码)
   DeepLearning | 图卷积网络基于拓扑结构的分类（T-GCN)
   机器学习教程 之 半监督学习 基于图正则项的半监督极限学习机

今天介绍的半监督极限学习机也是一种基于图的半监督学习方法，论文：
Semi-supervised and unsupervised extreme learning machines
不同于以上三种，这里的图指的是图正则项而不是图卷积。在实际运用中，作者发现很多该模型的很好的性质，比如可以运用于我们熟悉的归纳式学习，求解十分迅速并且是最优解析解等，也可以很容易的从分类任务拓展到回归任务。因此，在这里作一个详细的介绍。

对于模型的复现，作者参考了众多论文，给该模型做了一个非常强大的实现，下载连接放在文末的公众号里。同时，值得一提的是，极限学习与之前介绍的宽度学习是非常相似的，之前写过相关博客，可以参考

DeepLearning | Broad Learning System 宽度学习系统 : 高效增量式浅层神经网络

一、极限学习机

对于有监督的学习任务，一个包含$N$个样本的训练集表示为$\{\mathbf{X},\mathbf{Y}\}=\{{\mathbf{x}}_i,{\mathbf{y}}_i{\}}_{i=1}^N$。 这里，${\mathbf{x}}_i$是一个一维向量表示样本，${\mathbf{y}}_i$是一个一维的01向量，其中表示${\mathbf{x}}_i$类别的那个维度为1，其余的为0，即独热编码后的标签。极限学习机（ELM）想要基于该训练机学习一个从$\mathbf{x}$到$\mathbf{y}$的映射函数

通常ELM的训练分为两个阶段。

第一个阶段是通过随机映射来产生指定数量的特征，映射可以是任意的非线性连续函数，比如Sigmoid和Gaussian函数
1）Sigmoid函数
$$g(\mathbf{x},\theta )=\frac{1}{1+exp(-(\mathbf{a}\mathbf{x}+b))}$$
2）Gaussian 函数
$$g(\mathbf{x},\theta )=exp(-b||\mathbf{x}-\mathbf{a}||)$$
这里 $\theta =\{\mathbf{a},b\}$ 是随机产生的映射参数，$||\cdot ||$表示二范数。

随机产生各式的特征使得ELM和普通前向网络不同，只需要训练特征和输出之前的映射，大大减少了训练的时间和步骤。这里记${\mathbf{x}}_i$随机产生的特征为$\mathbf{h}({\mathbf{x}}_i)$，特征维度是任意的指定值。

ELM的第二个阶段是线性求解特征和输出直接的映射，目标函数记为
$$min\frac{C}{2}\sum _{i=1}^N||{\mathbf{y}}_i-\mathbf{h}({\mathbf{x}}_i)\beta ||+\frac{1}{2}||\beta ||$$
这里的$\beta$是我们需要求解的模型参数，损失的第一项表示模型的预测损失，$C$是预测损失的罚系数，第二项表示的是对模型参数的二范数正则。
该损失函数的矩阵形式为
$$min{L}_{ELM}=\frac{C}{2}||\mathbf{Y}-\mathbf{H}\beta ||+\frac{1}{2}||\beta ||$$
其中$\mathbf{H}=[\mathbf{h}({\mathbf{x}}_1),...,\mathbf{h}({\mathbf{x}}_N)]$是所有样本的特征。

ELM的解
当$\mathbf{H}$的行大于列时，模型是过定义的，解为：
$${\beta }^{\ast }=({\mathbf{H}}^T\mathbf{H}+\frac{I}{C}{)}^{-1}{\mathbf{H}}^T\mathbf{Y}$$

这里$\mathbf{I}$是单位阵。
但当$\mathbf{H}$的列大于行时，模型是欠定义的，解为：
$${\beta }^{\ast }={\mathbf{H}}^T(\mathbf{H}{\mathbf{H}}^T+\frac{\mathbf{I}}{C}{)}^{-1}\mathbf{Y}$$

以上就是对ELM的介绍和求解，ELM的性能影响比较大的是随机特征的产生，这里操作空间比较大，不同方式产生的特征和特征的数量都会很大程度上影响模型性能。

二、图正则项

半监督学习的建立往往基于两个假设
1）有标签数据${\mathbf{X}}_l$和无标签数据${\mathbf{X}}_{\mathbf{u}}$服从同一分布$P$
2）如果两个样本点${\mathbf{x}}_1$和${\mathbf{x}}_2$是相似的，那么它们的条件概率$P({\mathbf{y}}_1|{\mathbf{x}}_1)$和$P({\mathbf{y}}_2|{\mathbf{x}}_2)$也应该是相似的。

该思想被图正则项定义为损失函数如下
$$L_m=\frac{1}{2}\sum _{i,j}{w}_{ij}||P(\mathbf{y}|{\mathbf{x}}_i)-P(\mathbf{y}|{\mathbf{x}}_j)||$$

这里$w_{ij}$是${\mathbf{x}}_i$和${\mathbf{x}}_j$的相似度。

值得一提的是相似度矩阵$\mathbf{W}=[w_{ij}]$往往是稀疏的。因为我们仅仅当${\mathbf{x}}_i$和${\mathbf{x}}_j$很接近的时候，才将$w_{ij}$设置为一个非零值，比如，${\mathbf{x}}_i$需要是${\mathbf{x}}_j$的$k$近邻。$w_{ij}$的值通常根据高斯指数函数计算$exp(-||{\mathbf{x}}_i-{\mathbf{x}}_j||/2\sigma )$，或者直接简单设置为1.

直观的，当$\mathbf{x}$的变化很小时，正则项$L_m$惩罚了条件概率$P(\mathbf{y}|\mathbf{x})$大的变化。由于真实的条件概率难以计算，该正则项可以被估计为
$${\hat{L}}_m=\frac{1}{2}\sum _{i,j}{w}_{ij}||{\hat{\mathbf{y}}}_i-{\hat{\mathbf{y}}}_j||$$

其中, $\hat{\mathbf{y}}$ 是对$\mathbf{x}$的预测值。

上式的矩阵形式可以写为
$${\hat{L}}_m=Tr({\hat{\mathbf{Y}}}^T\mathbf{L}\hat{\mathbf{Y}})$$

其中$Tr(\cdot )$表示矩阵的迹， $\mathbf{L}=\mathbf{D}-\mathbf{W}$ 被称为拉普拉斯图矩阵，$\mathbf{D}$是对角矩阵，对角元素为$D_{ii}={\sum }_{j=1}^{l+u}{w}_{ij}$。通常，$\mathbf{L}$会被规范化为$\mathbf{L}=D^{-1/2}\mathbf{L}{D}^{-1/2}$。

以上就是对图正则项的介绍，我们可以看到，定义的${\hat{L}}_m$是同时适用于有标签或者无标签数据的，因此，它可以很方便的被应用半监督学习。

三、半监督极限学习机

这里我们记有标签数据集为$\{{\mathbf{X}}_l,{\mathbf{Y}}_l\}=\{{\mathbf{x}}_i,{\mathbf{y}}_i{\}}_{i=1}^l$，无标签数据集记为$\{{\mathbf{X}}_u,{\mathbf{Y}}_u\}=\{{\mathbf{x}}_i,{\mathbf{y}}_i{\}}_{i=1}^u$，其中$l$和$u$是样本数量。

半监督极限学习机(SSELM)的目标函数为：
$$min{L}_{ELM}=\frac{1}{2}||{\mathbf{C}}^{\frac{1}{2}}(\mathbf{Y}-\mathbf{H}\beta )||+\frac{1}{2}||\beta ||+\frac{\lambda }{2}Tr({\beta }^T{\mathbf{H}}^T\mathbf{L}\mathbf{H}\beta )$$

上式中 $\tilde{\mathbf{Y}}\in {\mathbb{R}}^{(l+u)\times n_0}$，它的前$l$行等于$Y_l$, 后$u$行等于0。$\mathbf{C}$是一个$(l+u)\times (l+u)$的对角矩阵，它的前$l$个对角元素为$C_0/N_{ti}$, 后$u$个对角元素为0. $C_0$是任意给定值，$N_{ti}$是第$i$个类别中样本的数量，这意味着SSELM是损失敏感的。

同样的，对于SSELM的求解，我们有
当有标签样本数量比特征数量多时
$${\beta }^{\ast }=(\mathbf{I}+{\mathbf{H}}^T\mathbf{C}\mathbf{H}+\lambda {\mathbf{H}}^T\mathbf{L}\mathbf{H}{)}^{-1}{\mathbf{H}}^T\mathbf{C}\tilde{\mathbf{Y}}$$

当有标签样本数量比特征数量少时
$${\beta }^{\ast }={\mathbf{H}}^T(\mathbf{I}+\mathbf{C}\mathbf{H}{\mathbf{H}}^T+\lambda \mathbf{L}\mathbf{H}{\mathbf{H}}^T{)}^{-1}\mathbf{C}\tilde{\mathbf{Y}}$$

以上就是SSELM的模型及求解，总而言之，相比于普通的ELM，SSELM引入了损失敏感和图正则项来进行提升，其中正则项的引入允许模型使用无标签样本，从而进行半监督的学习。SSELM的算法可以总结如下：

四、实验结果

这里摆一些论文里的实验结果

数据集

训练时间比较

准确率

五、更多资源下载

有问题可以私信博主，点赞关注的一般都会回复，一起努力，谢谢支持。
微信搜索“老和山算法指南”获取下载链接与技术交流群