半监督回归(Semi-Supervised Regression, SSR)-论文整理

本文内容来自 Semi-Supervised Regression: A recent review

SSR 的种类按照以下标准进行分类:

• 输入变量之间的关系
  • 参数估计(Parametric methods)
  • 非参数估计法(Non-Parametric methods)
• 视图数量
  • 多视图学习(Multiple view learning)
  • 单视图学习(Single view learning)
• learner数量
  • Multiple learners
  • Single learner

同时也存在以下分法:

*Non-Parametric SSR Methods

1. Semi-Supervised Co-Regression

协同训练是 Blum 和 Mitchell 在 1998 年提出的一种半监督方法, 是多视图学习的开拓者.
协同训练基于三个假设:

1. 数据集的每个示例都可以分为两个不完全相关的不同视图, 这意味着可以使用两种不同类型的信息来描述每个实例(冗余视图假设).
2. 每个视图都可以有效地用于分类(兼容性假设).
3. 这些视图在给定类标签的情况下是条件独立的(独立性假设). 在这种情况下, 使用标记示例在每个视图中分别训练两个分类器, 并且使用每个算法对未标记数据的最自信的预测结果来增强另一个的训练集.

Co-style SSR 算法主要分为两大类: Multi-view Co-Regression; Single-view Co-Regression

1.1 Multi-view Co-Regression

• coRLSR (co-Regularised Least Squares Regression). 一种基于协同训练框架的半监督核回归算法, 包括两个变体, non-parametric 和 semi-parametric. 两种变体都使用协同训练方法作为希尔伯特空间中的正则化风险最小化问题, 使用形式为高斯核函数的线性组合.
• SS-SVR (Semi-Supervised Support Vector Regression). 使用两个具有不同参数的 SVR 回归器, 使用遗传算法来改善响应.
• PLS(Partial Least Squares). 该算法将 co-training 算法与 PLS 回归相结合, 用于软传感器建模.

1.2 Single-view Co-Regression

• COREG(CO-training REGressors). 该算法采用两个 3NN 回归器, 使用具有不同度量阶的 Minkowsky 距离, 从而设置了多样性框架. 每个回归器预测每个未标记的实例并为其赋值, 但仅标记最自信的未标记实例, 这些实例在每次迭代结束之前插入到另一个回归器的标记集中. 通过评估 MSE 考虑回归器与标记示例集的一致性来估计标记置信度.
• CoBCReg(Co-training By Committee for Regression). 该算法是由 bagging 构造的 $N$ 个不同的 RBF网络回归器集合, 使用不同的训练子集, 不同的 bootstrap 方法, 不同的 RBF 中心随机初始化和不同的距离度量进行训练.
• Interactive genetic algorithms with large population and semi-supervised learning. 在 COREG 算法中引入交互式遗传算法(IGAs).
• SAFER(SAFE semi-supervised Regression). 在 SSR 方案的自动学习过程中限制错误标记预测的现象.

2. Semi-Supervised Kernel Regression (SSKR)

核回归是回归分析中最常用的非参数方法之一. 核是一个正定对称函数, 它满足 Mercer 定理的条件, 对应于特征空间中的内积(Reproducing Kernel Hilbert Space - RKHS). 构造描述数据内部几何结构的核函数是核方法效率的关键.
内核回归中使用了几种类型的内核函数:

1. Gaussian RBF kernel
2. Polynomial kernel
3. Sigmoid kernel
4. Linear kernel
5. Reproducing kernel

SSKR 主要分为: SS Kernel Ridge Regression, SS Support Vector Regression, SS Output Kernel Regression

2.1 Semi-Supervised Kernel Ridge Regression

• SSKR(Semi-Supervised Kernel Regression)假设未标记示例的预测是已知的, 则使用适当选择的权重因子构造高斯核回归器. 当权重因子等于0时, SSKR 是经典的核回归, 当权重因子等于1时, SSKR 是基于图形的方法.
• On transductive regression. 基于 KRR 的两阶段回归算法. 根据该方法, 每个未标记点的位置最初用于通过局部线性回归或岭回归或作为相邻标签的加权平均来估计其标签. 更具体地说, 未标记点的局部估计仅基于其标记的邻域. 否则, 将从训练集中忽略. 然后, 采用全局优化方法, 保证基于核岭回归的预测精度, 减少错误预测. 实验中使用的核是高斯核.
• Semi-supervised learning by search of optimal target vector. 使用少量标记数据进行传导推断和降维. 该方法优于经典的 KRR 和传感线性判别(TLD).
• SSLCE(Semi-Supervised LocalConstant Estimator). Seok (2012)

2.2 Semi-Supervised Support Vector Regression

• Kernel Regression with Order Preferences
• Semi-Supervised Support Vector Biophysical Parameter Estimation. 采用两种半监督 SVR 方法, 从高光谱图像和地下水叶绿素浓度的光谱行为中估算叶面积指数.
• LS-SVR(Least-Squares Support Vector Regression). 提出了一种基于最小二乘支持向量回归(LS-SVR)的 SSR 方法.
• S3VR. 考虑到未标记训练数据的估计, 构造了拉格朗日函数, 从而解决了优化问题. 在多个真实数据集中使用了径向基核函数, 描述了非线性回归情况, 显示了 S3VR 方法相对于 SVR 方法的优越性.
• S3VR based on self-training. 基于自训练的半监督 SVR 方法. 最初采用两个(Probabilistic Local Reconstruction, PLR)模型来估计未标记数据的标签分布, 从而与未标记数据一起形成训练集.

2.3 Semi-Supervised Output Kernel Regression

• POKR(Penalized Output Kernel Regression). 基于 RKHS 理论的惩罚输出核回归(POKR).
• Manifold Regularization: A Geometric Framework for Learning from Labeled and Unlabeled Examples. 在 RKHS 的 SSL 中的推广, 使用惩罚最小二乘代价泛函的向量值函数.

3. SSR via Graph Regularization

许多研究结合了基于图的学​​习方法, 尤其是对于 SSL 问题. 图正则化说明数据的内在几何结构, 构建最近邻图, 将此图作为正则化项添加到目标函数中可以提高算法的预测性能.

3.1 SSR Graph Laplacian Regularization

• TLapRLSR(Temporal Laplacian Regularized Least Squares Regression). 图拉普拉斯矩阵被时序图拉普拉斯矩阵取代, 该图拉普拉斯矩阵由部分标记的数据序列构成.
• SSLS(Semi-Supervised Laplacian Score). 它结合了有监督和无监督的拉普拉斯 score(LS, SLS)方法来解决回归问题. LS 根据未标记实例之间的相似性度量对特征进行排序, 也就是说, 通过确定每个点的最近邻, 从彼此之间的欧几里德距离测量. 此外, SLS 根据输出的相似性度量对特征进行排序. 因此, SSLS 是 SSL 上下文中 SLS 的扩展, 其主要优点是能够保留数据的本地结构.
• LLGDI(Learning from Local and Global Discriminative Information). 将 LapRLS 与半监督判别分析方法(SDA)相结合, 创建了一种半监督降维方法. 为了保证更高的分类效率, 引入了一组估计标签, 同时使用投影矩阵来捕捉每个类的全局判别方向. LLGDI 采用一组局部和全局分类函数分别保存局部几何和判别信息, 旨在同时解决回归和降维问题.
• LS-SDA/LS-SDA/F
• The convergence rate of semi-supervised regression with quadratic loss. 在 LapRLS 框架内使用了一个与二次损失相结合的正则化回归器, 以研究收敛速度和未标记集的基数的相关性.

3.2 SSR Hessian Regularization

• Semi-supervised regression using Hessian energy with an application to semi-supervised dimensionality reduction. 对 SSR 使用 Hessian 正则化.

3.3 SSR Parallel Field Regularization

• Semi-supervised regression via parallel field regularization. 使用 PFR(Parallel Field Regularization) 来测量预测函数的线性度并确保 SSR 应用中的二阶平滑度.

3.4 Spectral Regression

• Semi-Supervised Regression using Spectral Techniques. 引入了谱回归 (SR) 的概念, 这是一种通过将多变量普通回归与谱分析联系起来的 SSR 图正则化方法. SR 利用标记和未标记的实例, 旨在为多类问题构建高性能算法. 形成反映标签信息以及数据内在几何结构的邻接图, 随后应用最小二乘分类器.
• SDA(Semi-supervised Discriminant Analysis). 提出线性判别分析(LDA)监督方法的扩展, 该方法结合了未标记数据提供的信息.
• Multi-Manifold Semi-Supervised Learning. 适当选择覆盖整个数据集 ${\mathbf{U}}_d$ 的子集, 并与标记的实例一起形成一个图. 尺寸受限的谱聚类将图切割成少量的聚类, 最后应用监督学习. 而每个聚类必须包含足够的标记数据.

4. Local Linear SS Regression

局部线性 SSR 是一种非参数回归方法, 试图解决回归问题中经常出现的局部常数估计问题. 在回归问题中经常导致邻域实例的相同输出, 因此并入了局部线性估计器.

Rwebangira 和 Lafferty (2009) 发表了一项说明局部线性 SSR 效率的著名研究，提出了在名为局部线性半监督回归 LLSR(Local Linear Semi-supervised Regression) 的 SSL 设置下实现局部线性回归. LLSR 采用流形正则化, 使用局部线性拉普拉斯函数在每个未标记实例中拟合局部线性模型. 它在"平滑"函数上的拟合性能优于其他已知监督算法的相应行为.

5. Semi-Supervised Gaussian Process Regression

高斯过程是随机变量的集合, 其中任何有限数量的变量都具有一致的联合高斯分布. 高斯过程(GP)被认为是一种非常有效的回归工具.

Zhang and Yeung (2009) 将 SSR 和多任务回归相结合, 从而创建了半监督多任务回归 SSMTR(Semi-Supervised Multi-Task Regression) 算法, 它是 SSL 设置中监督多任务回归 (SMTR) 的扩展. 更准确地说, 所有包含的学习任务都是在假设所有核参数之间存在共同先验的情况下, 以 GP 为基回归器来处理的. 最后, 使用未标记的数据, 并适当调整核函数​​.

*Parametric SSR Methods-Hybrid Methods

尽管对 SSR 的非参数方法进行了多次研究, 但由于自变量之间的关系很难建模以估计输出变量, 因此参数方法很少被应用. 迄今为止涵盖的参数化方法分为两大类:

• Semi-Supervised Linear Regression
  • SSRM(Semi-Supervised Regression Model)结合半监督聚类和多元回归, 使用SSRM(Semi-Supervised Regression Model)算法分析包含数字和分类属性的数据集. 假设所有的数值属性都是有标签的数据, 所有的分类属性都是无标签的数据, 则使用 k-mode 聚类算法将数据集划分为多个聚类. 随后, 对每个聚类应用多元线性或二次回归模型. 其目的是最小化回归模型的最小二乘误差加权和以及分类属性之间的差异性度量. SSRM算法的效率取决于数据的性质.
• Semi-Supervised Hybrid Methods
  • GFs based on SSR. 基于邻域图的高斯场(GFs)应用于 SSR.
  • Lafferty 和 Wasserman (2008) 从极大极小理论的角度提出了回归半监督技术的综合统计分析. 对流形假设以及半监督平滑假设进行了深入研究, 表明如果第一个成立, 则第二个是不必要的. 此外, 在没有流形假设的情况下, 平滑假设太弱. 因此, 提出了假设的改进版本, 以优化使用标记和未标记的数据, 并导致更有效的估计.
  • Guillaumin等(2010) 使用多核学习 (MKL) 框架进行图像分类, 其灵感来自 co-training. 训练集由带有特定标签和标签的标记图像集和不带标签的未标记图像集组成, 从而描述具有不同特征的数据. 开始, 使用图像内容和相关标签来学习 MKL 分类器, 随后, 它用于估计未标记图像集上的标签. 最后, 带有先前预测输出的标记和未标记图像都用于训练视觉 SVM 分类器来预测未标记图像的标签. 如果利用未标记数据对 MKL score 执行最小二乘回归, 则预测性能可能会提高. 因此, 在第一阶段使用 SSR 实现了级联结构化方法, 并将获得的预测提供给下一阶段以解决分类问题.
  • LSR(Local Spline Regression). 利用 Sobolev 空间中发展的样条传感算法, 由多项式和 SSC 的格林函数组成.
  • Local semi-supervised regression for single-image super-resolution. 基于局部 SSR 算法的图像超分辨率 SSL 方法.
  • Real-Time Articulated Hand Pose Estimation Using Semi-supervised Transductive Regression Forests. 用于手姿势估计的 semi-supervised transductive regression forest算法.

*Semi-Supervised Ordinal Regression

有序回归或排序学习是指在顺序约束下的多类分类问题. 在实际应用中, 当有限变量和离散变量的值之间存在顺序且未定义秩之间的度量距离时, 顺序回归处理有限变量和离散变量的分类.

• TOR(Transductive Ordinal Regression). 在利用非线性核函数对每一类的决策函数进行学习的同时, 对未标记数据的序类标签进行估计. 通过 MAE 和 MZE 度量测量分类误差.
• SSGPOR(Semi-supervised Gaussian Process Ordinal Regression). 高斯过程经常用于解决监督学习任务的顺序回归问题. 通过使用期望传播(EP)算法将监督高斯过程顺序回归方法扩展到半监督. 该算法基于标记和未标记数据对应的输出分布的相似性, 同时创建穿过低密度区域的决策边界. 这种相似性实际上可以通过最小化未标记数据输出上的预测分布与类似于标记数据分布的近似多项式分布之间的Kullback-Leibler散度来实现.
• SMOP