监督正交非线性局部近邻结构保持SONLLP特征提取算法

0、前言

      现有常用的基于局部信息保持的特征提取与降维算法有LE、LPP、NPE、KLPP、KNPE等，KLPP是LPP的非线性改进，KNPE是NPE的非线性近似，适用于非线性数据集，但是这两种方法都无法利用样本的标签信息，只能进行无监督特征变换，限制了其应用范围或效果。本文提出一种全新的监督正交非线性局部近邻结构保持特征提取算法（简称为SONLLP)。该方法有效利用训练集数据标签信息并且以相关性关系为指引对原始数据集进行非线性变换，引入正交约束，并以最小化近邻结构保持误差为目标，在变换后的数据空间中进行特征提取。

1、SONLLP算法原理

 

 

 目标函数：

  其中L为拉普拉斯矩阵，求解上式得到映射矩阵A,且满足正交约束。 

  代码列表 ：

2、效果分析

   为了验证所提SONLLP算法的效果，将其与KLPP进行对比验证 ：

   特征提取可视化结果如下：

 图1 原始特征

    

 图2 SONLLP 特征

图3 KLPP特征 

图4 可分性参数及分类准确率

3、结论

    上述对比分析可以看出，所提SONLLP方法提取的特征类间区分度更好，可分性参数更大，knn分类准确率更高，更有利于聚类与分类问题。