线性代数之正交与最小二乘
[作者：byeear Email：[email protected] 首发www.cnblogs.com 转载请注明]
回忆学校的美好时光，一起来复习下曾经的课程吧。
1. 内积：如果u和v是Rn空间的向量，u和v的内积定义为：
u·v = uTv
内积满足交换律。
2. u·u≥0，在u=0时取等号。
3. 向量的长度即向量的范数，记作||v||。
||v||=sqrt[∑(vi2)]
4. 向量的距离dist(u,v)=sqrt(∑[(ui-vi)2])
5. 两个向量正交 <=> u·v=0 <=> ||u+v||2=||u||2+||v||2
6. 若A为mxn矩阵，A的行向量空间的正交补空间是A的零空间，A的列向量空间的正交补空间是AT的零空间。
如果x是NulA中的向量，那么根据Ax=0，x与A的每一行正交；
如果x与A的每一行正交，那么x满足Ax=0，x是NulA中的向量。
7. 若W是Rn的子空间，那么W的正交补也是Rn的子空间。
8. u·v=||u|| ||v|| cosθ
9. 若Rn中的向量集合W中的任意两个不同向量都正交，该向量集称为正交向量集。非零正交向量集是线性无关集。
10. 一个向量y相对于该向量所在向量空间的某个正交基的坐标可根据下式计算；cj=(y·uj)/(uj·uj)
uj是基中的向量，cj是对应该向量的权。
如果基非正交，那么就必须求解线性方程组才能得到y相对于该基的坐标。
11. 若向量空间Rn的某个子空间W的某个正交基为{u1,...,up}，向量y在W上的正交投影为：
Projwy=[(y·u1)/(u1·u1)]u1+...+[(y·up/up·up)]up
y=Projwy+z
向量z与向量空间W正交，z=y-Projwy。
和式中的每个分量是y在对应基向量上的正交投影Projuy。
Projwy是W中最接近y的点，或者说是W中元素对y的最佳逼近。
12. 如果U是具有单位正交列的mxn矩阵，x和y是Rn的向量，那么：
||Ux||=x
(Ux)·(Uy)=x·y
(Ux)·(Uy)=0 <=> x·y=0
即映射x->Ux不改变长度和正交性。
13. 单位正交矩阵是一个可逆方阵且满足U-1=UT
14. 如果{u1,...un}是Rn子空间W的单位正交基，那么：
Projwy=(y·u1)u1+...+(y·up)up=UUTy
15. 若U是nxp矩阵且列单位正交，W是U的子空间，那么：
UTUx=Ipx=x
UUTy=Projwy
16. 对Rn非零子空间构造正交基的方法
假定Rn中子空间W有基{x1,...,xn}
选取v1=x1
从x2中除去其在v1(即x1)上的投影得到v2：v2=x2-Projv1x2
从x3中除去其在{v1,v2}上的投影得到v3：v3=x3-Projv1x3-Projv2x3
......
将以上正交基单位化即得到标准正交基。
17. QR分解
如果mxn矩阵A的列线性无关，那么A可以分解为QR，Q为mxn矩阵，其列为ColA的标准正交基；R为nxn上三角可逆矩阵。
QR分解实际上就是将A的列经标准正交化得到Q，而R=Q-1A=QTA。
18. 满足Ax=b的最小二乘解满足方程：
ATAx=ATb
该方程称为Ax=b的法方程。
19. 矩阵ATA可逆的充分必要条件是A的列线性无关。此时Ax=b有唯一最小二乘解(ATA)-1ATb
20. 内积空间：不严格的理解：在满足一定规则的前提下，我们可以对向量空间的两个向量作自定义运算，以满足实际要求。
例如给向量中的某个元素赋予更高的权值；或者对于元素为表达式的情况，对表达式中的变量仅取特定值。
21. 加权最小二乘：若W是元素（即权值）非负的对角矩阵，则最小二乘方程为(WA)TWAx=(WA)TWy