线性代数——向量的内积、范数、正交，向量组的线性相关性和向量空间

向量的内积

• 设有n维向量
  $$x=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right],y=\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right],$$
  令 [x, y] = x₁y₁ + x₂y₂ + … + x_ny_n，
  [x, y]称为向量x与y的内积（或点积），也可写成。
• 矩阵形式：[x, y] = x^Ty

性质

• [x, y] = [y, x]
• [λx, y] = λ[x, y]
• [x + y, z] = [x, z] + [y, z]
• 当 x = 0时(零向量)，[x, x] = 0；当 x ≠ 0 时，[x, x] ＞ 0

柯西不等式

• [x, y]² ⩽ [x, x][y, y]
• 证明：令z = x - λy,
  [z, z] = [x - λy, x - λy] = [x, x - λy] - [λy, x - λy] = [x, x] - λ[x, y] - λ[x, y] + λ²[y, y] = [y, y]λ² - 2[x, y]λ + [x, x] ≥ 0
  可以看成一个关于λ的二次函数，二次函数大等于零，判别式Δ = b² - 4ac = 4[x, y]² - 4[y, y][x, x] ⩽ 0，即 [x, y]² ⩽ [x, x][y, y]

范数

• 令
  $$\Vert x\Vert =\sqrt{\left[x,x\right]}=\sqrt{x_1^2+x_2^2+...+x_n^2}$$
  ||x|| 称为 n 维向量 x 的长度（或范数，或模）
• ||x|| = 1 时，称 x 为单位向量

性质

• 非负性：当 x = 0时，||x|| = 0；当 x ≠ 0 时，||x|| ＞ 0
• 齐次性：||λx|| = |λ| ||x||
• 三角不等式：||x+y|| ⩽ ||x|| + ||y||

相似度

• 二维空间中： = ||x|| ||y|| cosθ
  θ 为 x 与 y 的夹角
• 推广到高维：$$\cos \theta =\frac{\left[x,y\right]}{\Vert x\Vert \Vert y\Vert }$$
  $0⩽{\cos }^2\theta =\frac{{\left[x,y\right]}^2}{{\Vert x\Vert }^2{\Vert y\Vert }^2}=\frac{{\left[x,y\right]}^2}{\left[x,x\right]\left[y,y\right]}⩽1，故-1⩽\cos \theta ⩽1$
  用cosθ来衡量高维空间中两个样本（机器学习中的样本基本都是n维空间中的向量）的相似度的一种度量，不同于欧氏距离（$d=\sqrt{(x_1-y_1{)}^2+(x_2-y_2{)}^2+...+(x_n-y_n{)}^2)}$）。

向量组的线性相关性

• 给定向量组A：a₁，a₂，…，a_m，如果存在不全为0的数k₁，k₂，…，k_m，使
  $$k_1{a}_1+k_2{a}_2+...+k_m{a}_m=0,$$
  则称向量组A是线性相关的，否则称它线性无关。
• 线性相关，说明向量组A中至少有一个向量能由其余m-1各向量线性表示。
  如设k₁≠0，于是$a_1=-\frac{1}{k_1}(k_2{a}_2+...+k_m{a}_m)$，即a₁能由a₂，…，a_m线性表示。
• $矩阵可逆\iff |A|\ne 0\iff R(A)=n\iff A\stackrel{r}{\sim }E\iff a_1,a_2,...,a_m线性无关$

向量空间

• 设V为n维向量的集合，如果V非空，且V对于向量的加法及乘数两种运算封闭，那么就称集合V为向量空间。
• 封闭是指，若a∈V，b∈V，则a+b∈V；若λ∈$\mathbb{R}$，则λa∈V
• n维向量的全体构成的集合${\mathbb{R}}^n$叫做n维向量空间。
• 设V为向量空间，如果r个向量a₁，a₂，…，a_r∈V，且满足：
  （1）a₁，a₂，…，a_r线性无关；
  （2）V中任一向量都可由a₁，a₂，…，a_r线性表示，
  那么向量组a₁，a₂，…，a_r就称为向量空间V的一个基，r称为向量空间V的维数，并称V为r维向量空间。

正交

• 当[x, y] = 0时，称向量x与y正交。
• 若x = 0，则x与任何向量都正交
• 定理：若n维向量a₁，a₂，…，a_r是一组两两正交的非零向量，则a₁，a₂，…，a_r线性无关
  证明：$k_1{a}_1+k_2{a}_2+...+k_m{a}_m=0$，两边同时点积a₁，得k₁ [a₁, a₁] + k₂ × 0 + … + k_m × 0 = 0，即k₁ [a₁, a₁] = 0，a₁是非零向量，故k₁ = 0。依此类推。

规范正交基

• 设n维向量e₁，e₂，…，e_r是向量空间V（$V\subset {\mathbb{R}}^n$）的一个基，如果e₁，e₂，…，e_r两两正交，且都是单位向量，则称e₁，e₂，…，e_r是V的一个规范正交基。
• 通常r = n
• 规范正交基不惟一
• 若e₁，e₂，…，e_r是V的一个规范正交基，那么V中任一向量a应能由e₁，e₂，…，e_r线性表示。
• 系数求法：λ_n = [a, e_n]
  设a= λ₁e₁ + λ₂e₂ + … + λ_re_r，
  则[a, e₁] = λ₁[e₁, e₁] + λ₂[e₂, e₁] + … + λ_r[e_r, e₁] = λ₁[e₁, e₁] = λ₁，
  以此类推。

施密特（Schimidt）正交化

• 设a₁，a₂，…，a_r是向量空间V的一个基，要求V的一个规范正交基，也就是要找一组两两正交的单位向量e₁，e₂，…，e_r，使e₁，e₂，…，e_r与a₁，a₂，…，a_r等价。这样一个问题，称为把a₁，a₂，…，a_r这个基规范正交化。
• 首先正交化：
  $b_1=a_1;$
  $b_2=a_2-\frac{\left[b_1,a_2\right]}{\left[b_1,b_1\right]}{b}_1;$
  …
  $b_r=a_r-\frac{\left[b_1,a_r\right]}{\left[b_1,b_1\right]}{b}_1-\frac{\left[b_2,a_r\right]}{\left[b_2,b_2\right]}{b}_2-\cdots -\frac{\left[b_{r-1},a_r\right]}{\left[b_{r-1},b_{r-1}\right]}{b}_{r-1}$
• 此时b₁，b₂，…，b_r两两正交，且b₁，b₂，…，b_r与a₁，a₂，…，a_r等价。
• 然后把它们规范化（单位化）：
  $e_1=\frac{1}{\Vert b_1\Vert }{b}_1$
  $e_2=\frac{1}{\Vert b_2\Vert }{b}_2$
  …
  $e_r=\frac{1}{\Vert b_r\Vert }{b}_r$
• 这就是V的一个规范正交基。
• 上述从线性无关向量组a₁，a₂，…，a_r导出正交向量组b₁，b₂，…，b_r的过程称为施密特正交化过程。它不仅满足b₁，b₂，…，b_r与a₁，a₂，…，a_r等价，还满足对任何k(1⩽k⩽r)，b₁，b₂，…，b_k与a₁，a₂，…，a_k等价。

正交矩阵

• 如果n阶矩阵A满足A^TA = E（即A^-1 = A^T），那么称A为正交矩阵。
  用A的列向量表示，即
  $$\left[\begin{array}{c}{a}_1^T\\ a_2^T\\ ⋮\\ a_n^T\end{array}\right]\left[\begin{array}{cccc}{a}_1& a_2& \cdots & a_n\end{array}\right]=E$$
  亦即
  $$a_i^T{a}_j=\{\begin{array}{ll}1,& \text{当 }i=j\\ 0,& \text{当 }i\ne j\end{array}$$
  说明A为正交阵的充分必要条件是A的列向量都是单位向量，且两两正交。
• 因为A^TA = E与AA^T = E等价，所以上述结论对A的行向量亦成立。
• n阶正交阵A的n个列（行）向量构成向量空间${\mathbb{R}}^n$的一个规范正交基。
• 若A为正交阵，则A^-1=A^T也是正交阵，且|A|=1或-1
• 若A和B都是正交阵，则AB也是正交阵。

正交变换

• 若P为正交矩阵，则线性变换y = Px称为正交变换。
  $$\Vert y\Vert =\sqrt{y^{T}y}=\sqrt{x^T{P}^{T}Px}=\sqrt{x^{T}x}=\Vert x\Vert$$
  说明正交变换向量长度不变。