ATA对称正定的证明

1. 结论
Let A∈Rn×mwithn>m,A∈Rn×mwithn>m, then matrix ATAATA is positive semidefinite, If rank(A)=m(i.e.Ahasfullrank),rank(A)=m(i.e.Ahasfullrank), then ATAATA is positive definite.

2. 证明
半正定的证明 
根据对称正定的定义，要证明ATAATA半正定，即证明，xT(ATA)x≥0xT(ATA)x≥0 
xT(ATA)x=(xTAT)(Ax)=(Ax)T(Ax)

记，Ax=uAx=u，则，xT(ATA)x=uTuxT(ATA)x=uTu，由向量点乘的性质，易知uTu>=0.uTu>=0. 
即，ATAATA 半正定。
正定的证明 
uTu≥0uTu≥0 等号当且仅当u=0u=0时取到。、 
我们看看u=0u=0时，xx等于多少。u=Ax=0u=Ax=0，当A满秩时，根据满秩的定义和性质，易知当且仅当x=0x=0时，Ax=0Ax=0。 
即证明ATAATA正定。

为什么AA满秩时，Ax=0Ax=0当且仅当x=0x=0 
根据满秩的定义和性质，当A满秩是，A的各列向量线性独立，则，A的列向量的线性组合等于0，当且仅当每个系数等于0。AxAx就可以看出A的列向量的线性组合，因此，当且仅当x=0x=0时Ax=0Ax=0.

3. 总结
ATAATA is coefficient matrix of Normal Equation