向量内积的几何解释

向量内积的几何解释

再看西瓜书中的线性判别分析 LDA，注意到了 ${\mathbf{w}}^{⊺}\mathbf{x}$，说是 “直线上的投影”，于是扒一扒，向量内积怎么就是投影了？

给定两个向量 $\mathbf{a}$ 和 $\mathbf{b}$，我们已经熟练地知道可以求：
$(1)$ 两者之间的夹角余弦$(相似度)$ $$cos⟨\mathbf{a},\mathbf{b}⟩=\frac{{\mathbf{a}}^{⊺}\mathbf{b}}{|\mathbf{a}|\cdot |\mathbf{b}|}$$ $(2)$ 求 $\mathbf{a}$ 到 $\mathbf{b}$ 的投影长度 $$\begin{array}{rl}|\mathbf{a}|cos⟨\mathbf{a},\mathbf{b}⟩& =|\mathbf{a}|\frac{{\mathbf{a}}^{⊺}\mathbf{b}}{|\mathbf{a}|\cdot |\mathbf{b}|}\\ & =\frac{{\mathbf{a}}^{⊺}\mathbf{b}}{|\mathbf{b}|}\\ & ={\mathbf{a}}^{⊺}\frac{\mathbf{b}}{|\mathbf{b}|}\end{array}$$ 但是这里面的内积 ${\mathbf{a}}^{⊺}\mathbf{b}$ 究竟是个啥？直觉的几何意义是什么？也许我们从上述两个用途看出向量内积的几何意义：可代表向量之间的夹角，可代表一个向量到另一个向量方向上的投影，但为什么是这样呢？夹角余弦为什么是这么算的？下面我们从向量内积计算的角度解释这是怎么回事。

先从最简单的二维看看。上图中有两个单位向量 $\mathbf{a}=(x,y)$ 和 $\mathbf{b}=(cos\beta ,sin\beta )$，其中 $\beta$ 是向量 $\mathbf{b}$ 与 $x$ 轴的夹角。那么$${\mathbf{a}}^{⊺}\mathbf{b}=x\ast cos\beta +y\ast sin\beta$$ 拆开这个式子的两项看看。$OC=x$，$CE\perp OE$，红色的线段 $$OE=OC\ast cos\beta =x\ast cos\beta$$ 又 $AC=y$，$EF=CG=y\ast sin\beta$，则向量 $\mathbf{a}$ 到 $\mathbf{b}$ 方向的投影长度（黄色线段） $$\begin{array}{rl}OF& =OE+EF\\ & =x\ast cos\beta +y\ast sin\beta \end{array}$$ 这就从几何上直观地解释了为什么向量内积是向量投影长度。注意到 $sin\beta =cos(\frac{\pi }{2}-\beta )$，那么 $$OF=x\ast cos\beta +y\ast cos(\frac{\pi }{2}-\beta )$$ 拆开来看，$x\ast cos\beta$ 是 $\mathbf{a}$ 的 $x$ 分量在 $\mathbf{b}$ 方向上的投影长度，而 $y\ast cos(\frac{\pi }{2}-\beta )$ 是 $y$ 分量在 $\mathbf{b}$ 方向上的投影长度，整个内积就是整个向量的投影长度。也就是说，计算向量内积时，对应分量相乘，其实就是分量投影而已。
【注】分量就是向量在各个坐标轴上的投影长度。也可以这么说，向量 $\mathbf{a}$ 先投影到各坐标轴，再从坐标轴投影到向量 $\mathbf{b}$，再累加。
很明显，更高维的情况也是一样的，各个分量在所投方向的投影累加。至于非单位向量，向量模就是个系数罢了，况且真到实际应用，单位化（normalize）的情况居多。

超平面是在法向量方向上投影相同的点集

我们经常看到超平面的方程是 $${\mathbf{w}}^{⊺}\mathbf{x}+b=0$$ 下面我们就用向量内积的几何解释来看看超平面的是怎么一回事。

先从简单的二维平面上的直线开始，$\mathbf{w}$ 是直线的法向量，垂直于直线，很明显，直线上的任意一点 $\mathbf{x}$ 投影到法向量上后 ${\mathbf{w}}^{⊺}\mathbf{x}$ 都相等，设为 $b$，当 $b=0$ 时，直线过原点。三维空间平面也是一样：

$\mathbf{w}$ 是平面的法向量，垂直于平面，很明显，平面上的任意一点 $\mathbf{x}$ 投影到法向量上后 ${\mathbf{w}}^{⊺}\mathbf{x}$ 都相等，设为 $b$，当 $b=0$ 时，平面过原点。