SVD直观理解

原文链接

最近在看的MLAPP第七章中出现了多次SVD的内容，大学的时候只学了实对称矩阵的对角化，这次趁机会好好弥补一下。
师兄给我发了一个张志华老师的SVD总结，总共一百多页，很数学让我看了就头大。相比之下，上面这篇文章就很基础和直观。
文章大概的脉络如下：

1. 对一个向量左乘一个矩阵$M$相当于在M的列向量上进行了伸缩
2. 但是M的列向量不一定是正交的，可能进行旋转伸缩后得到的形状很奇怪
3. 我们想要将变化后的向量组(也就是M的列向量)变成一个正交的形式
4. 为此我们将X先分解为由一组正交基向量构成的形式($x=v_1{v_1}^{T}x+\cdots +v_n{v_n}^{T}x$)
5. 对上述等式乘左$M$后，我们希望选取的正交基向量组在乘以M后得到的向量组仍是相互正交的
6. 但是该如何选取向量组$\{V\}$呢？文章举了二维例子，变化后的$M{v}_1$应该是其长轴的方向。那么问题就是变成了一个优化问题，即
   $$\arg \underset{v_1}{\max }{v_1}^T{M}^{T}M{v}_1$$
   $$s.t{v_1}^T{v}_1=1$$
   利用朗格朗日乘子法得到$v_1$应为$M^{T}M$的特征向量。
   而矩阵$U$则为对应的$Mv$的单位向量。
   文章强调说，$\sigma$的值越大，则该方向越重要。
   我的理解是，如果把矩阵$M$看作一个对于向量$x$的·变换，那么我们可以用$U\Sigma V^T$等效的来代替$M$。其中V是对$x$做了正交分解，正交矩阵U是规定了方向，$\sigma$越小则该方向的长度就越小，如果足够的小，我们就可以忽略该方向在重构$x$时也能较好的表现$x$。