《数学基础》-1.线性代数-1.5.矩阵的奇异值

1.5.矩阵的奇异值

1.5.1.矩阵的奇异值分解(svd分解)

《数学基础》-1.线性代数-1.5.矩阵的奇异值_第1张图片

证明:

(1)为m行n列,秩为r的矩阵

《数学基础》-1.线性代数-1.5.矩阵的奇异值_第2张图片

《数学基础》-1.线性代数-1.5.矩阵的奇异值_第3张图片

奇异值定义:

《数学基础》-1.线性代数-1.5.矩阵的奇异值_第4张图片

这里有r个λ大于0,因为为对称阵,所以可以对角化,即为对角阵,又因为R()=R(A) ,且由相似定理得相似,则他们的特征值相同,所以有r个λ大于0

奇异值分解(svd分解):

《数学基础》-1.线性代数-1.5.矩阵的奇异值_第5张图片

证明:

《数学基础》-1.线性代数-1.5.矩阵的奇异值_第6张图片

则 

所以:,(1)    (2)

由(1)得:

或者左右两边同时乘以Σ的逆得

由(2)得:

《数学基础》-1.线性代数-1.5.矩阵的奇异值_第7张图片

《数学基础》-1.线性代数-1.5.矩阵的奇异值_第8张图片

上式称为矩阵A的奇异值分解

 

例题:

解:

《数学基础》-1.线性代数-1.5.矩阵的奇异值_第9张图片

《数学基础》-1.线性代数-1.5.矩阵的奇异值_第10张图片

《数学基础》-1.线性代数-1.5.矩阵的奇异值_第11张图片

1.5.2.svd分解的应用

1.图像压缩

图片可以看做一个矩阵,利用奇异值分解,可以写成

《数学基础》-1.线性代数-1.5.矩阵的奇异值_第12张图片

其中:

《数学基础》-1.线性代数-1.5.矩阵的奇异值_第13张图片

将A展开得:

其中

原始图像需要保存m×n个数,但是经过分解,由于后面的σ越来越小,所以可以只取前k个项,则数据量为(m+n+1)k<

采用这种方式存储图像,损失函数为:

k越大,损失越小,更能充分接近真实的图像。

下面可以分别对k取不同值,对比图像差别:

分别保留二十分之一、十分之一、五分之一、三分之一、二分之一、原图对比

《数学基础》-1.线性代数-1.5.矩阵的奇异值_第14张图片《数学基础》-1.线性代数-1.5.矩阵的奇异值_第15张图片《数学基础》-1.线性代数-1.5.矩阵的奇异值_第16张图片 

《数学基础》-1.线性代数-1.5.矩阵的奇异值_第17张图片《数学基础》-1.线性代数-1.5.矩阵的奇异值_第18张图片《数学基础》-1.线性代数-1.5.矩阵的奇异值_第19张图片 

 

2.矩阵乘法加速

《数学基础》-1.线性代数-1.5.矩阵的奇异值_第20张图片

《数学基础》-1.线性代数-1.5.矩阵的奇异值_第21张图片

你可能感兴趣的:(笔记,机器学习,线性代数)