LDA线性判别分析——投影的疑问解答

 在周志华老师的《机器学习》中，线性判别这一节中说，样本点在直线上的投影为，这和线性代数中正交投影中所描述的可不大一样。

首先，要明确一点，是指投影后的点到原点的距离，而不是投影后的点，原书有点误导。

因为，线性判别分析要分析投影后的点的距离（类间散度，类内散度），所以不用求投影点，直接求投影后的距离就可以了。

但是这并没有解答主要疑问，根据正交投影的公式，投影后距离也不是

先来看一下，正交投影的公式：

        对中的一个非零向量，考虑中的一个向量y，y在上的正交投影记为

                                                                                       （推导过程请参考线性代数相关章节）

       矩阵的点乘表示，矩阵对应元素乘积的和。

我们来看一个例子：

       ，，求在上的正交投影。

                                                                  

                                                                  

                                                                 

从计算结果来看投影后向量的模，并不等于，反而。这就是产生疑问的点。

 

在观察LDA建模过程中最大化目标方程时，有了一些想法，最大化目标方程如下所示：

                                                                       

可以看到，分子分母都有，所以，是否是因为有相同的常数项可以消去，所以在消去常数项之后表示为了

在代数定义中找不到先关的解释，那我们就在几何中找找关系。

二维空间中点向直线的投影，如下图所示：

 要求A'到原点的距离（即原点到点A'向量的长度），有（dis代表距离，distance的缩写），用向量范数表示为，而，综合两式得：

                                                                              

用原书中的符号表示就是（用表示的投影点）：，而矩阵点乘等于，例如 

                                                                  

所以，而为公共常量（都是同一个），一个公共常量对于最大化目标是无意义（虽然上下式可以消这个常量），并不影响结果，所以可以舍去，从而有了投影长度为