基于图嵌入的降维算法——局部敏感判别分析(Locality Sensitive Discriminant Analysis ，LSDA)

0、前言

         上一篇介绍了边界Fisher分析（MFA），这一篇承接上一篇，继续介绍局部敏感判别分析(Locality Sensitive Discriminant Analysis ，LSDA)相关理论，下一篇介绍判别最大化边界投影(Discriminant Maximum Margin Projections，DMMP)方法。

1、局部敏感判别分析（LSDA)理论

       LSDA是首先寻找每个样本的近邻，并根据标签信息将这些近邻分为同类近邻和异类近邻两种，然后分别构建本征图和惩罚图。目标是寻找投影矩阵 A，使得在高维空间中同类的近邻点通 过投影后在低维特征子空间中尽量靠近，同时又使得在高维空间中不同类的近邻点通过投影后在低维特征子空间中尽量远离。即同时最优化下面两个问题：

       LSDA 算法在最小化同类近邻样本投影后距离的同时，还最小化同类非近邻样本投影后的距离来减弱离群点问题。

       LSDA的目标函数如下：

 

       根据拉格朗日乘子法，如下广义特征方程的最大特征值对应的特征向量集可作为 LSDA 的投影矩阵 A。

     同类近邻连接权重矩阵：，根据该矩阵构造惩罚图

     异类近邻连接权重矩阵：，根据该矩阵构造本征图

其中：和为对角矩阵，其对角元素为

;

异类近邻图的拉普拉斯矩阵： 

2、理论缺点分析
 

        LSDA首先给定每个样本点的近邻域半径，然后根据近邻点的标签信息将邻域里的近邻点分为同类近邻点和异类近邻点，进而构造出本征图和惩罚图。可能存在的不足如下：
          ①首先这是一种线性映射，不能增加原有数据集的信息（只可能减少原有数据集的信息）即不可能提升原有数据集的区分能力，线性降维只是实现用尽可能少的特征去逼近原始数据包含的所有信息（有用或者干扰信息）。

           ②与MFA类似，LSDA对于边界较为清晰或者是异类样本重合度不够高的数据空间应该是有效的，可以想象图1中两类样本点完全杂乱无章融合在一起，这时候样本的异类边界和同类边界也完全融合在一起（目标点与其同类样本和异类样本的连接权重接近），根据目标函数，很难找到一组映射使得分子大而分母小。这个时候取得的映射矩阵并不能达到我们想要的效果（当然这种情况下任何线性方法都不一定能做到）。

            ③LSDA有可能存在近邻样本中没有异类样本的情况，即无法构造异类边界和惩罚图，如下图所示。

            ④LSDA选择的异类边界点与同类边界点之间没有直接的关联（都是独立寻找，并建立权重矩阵），我们为了两类样本尽可能分开，理想情况肯定是异类边界点与同类边界点尽可能分离，即应该将这两种边界点建立一种联系。

2.3  改进方向：
         根据上述分析改进点如下：

         ①非线性化

         ②非线性基础上如何进一步改进样本间权重计算方法，避免权重接近情况

         ③如何处理无异类近邻样本点的情况

         ④异类边界和同类边界关联化，即本征图和惩罚图的构建不应该独立无关

         ⑤其他

3、LSDA实现效果
       待下文分解
————————————————
版权声明：本文为CSDN博主「机器猫001」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/m0_61363749/article/details/120949381