矩阵分解——8.4 最小二乘问题

8.4 最小二乘问题

  • 前置知识
    • 最小二乘问题
    • Moore-Pseudo 广义逆
    • 最小二乘解的扰动分析
  • 8.4.1 满秩最小二乘问题
    • 正规化方法
    • QR 分解方法(???)
    • SVD 分解方法
  • 8.4.2 亏秩最小二乘问题
  • 8.4.3 数值秩的定义和确定方法
  • 8.4.4 齐次最小二乘问题
  • 8.4.5 约束齐次最小二乘问题

前置知识

最小二乘问题

利用已知的 A输入的刺激 b观测到的响应 求x未知系统
矩阵分解——8.4 最小二乘问题_第1张图片
8.4.1证明中因为Xls使b-AX最小,所以b-A(x+y)要大,所以两者相减大于等于0;
矩阵分解——8.4 最小二乘问题_第2张图片

Moore-Pseudo 广义逆

矩阵分解——8.4 最小二乘问题_第3张图片
矩阵分解——8.4 最小二乘问题_第4张图片
矩阵分解——8.4 最小二乘问题_第5张图片

最小二乘解的扰动分析

类似于系统的零状态和零输入响应

矩阵分解——8.4 最小二乘问题_第6张图片

8.4.1 满秩最小二乘问题

在这里插入图片描述

正规化方法

将求解问题(8.4.1)转化为求解正规化方程组

矩阵分解——8.4 最小二乘问题_第7张图片
矩阵分解——8.4 最小二乘问题_第8张图片

QR 分解方法(???)

矩阵分解——8.4 最小二乘问题_第9张图片
这里Q是HouseholderQR分解后,Q为mxm的矩阵
矩阵分解——8.4 最小二乘问题_第10张图片

SVD 分解方法

矩阵分解——8.4 最小二乘问题_第11张图片
分子分母作为v的系数

8.4.2 亏秩最小二乘问题

矩阵分解——8.4 最小二乘问题_第12张图片

8.4.3 数值秩的定义和确定方法

从上面的讨论,可以看出亏秩最小二乘问题(8.4.1)求解与矩阵的秩密切相关。然而“秩”这一在数学上精确定义的概念,在数据有误差时或者在计算机上进行浮点运算时,就变得模糊不清了。这样就自然地引进了所谓的数值秩的概念。
在这里插入图片描述
矩阵分解——8.4 最小二乘问题_第13张图片

8.4.4 齐次最小二乘问题

矩阵分解——8.4 最小二乘问题_第14张图片
矩阵分解——8.4 最小二乘问题_第15张图片
利用矩阵A 的SVD 分解,也可以求解(8.4.15)。

矩阵分解——8.4 最小二乘问题_第16张图片
齐次就是个Reilaygh商

8.4.5 约束齐次最小二乘问题

矩阵分解——8.4 最小二乘问题_第17张图片
矩阵分解——8.4 最小二乘问题_第18张图片
矩阵分解——8.4 最小二乘问题_第19张图片
中间一步x’掉了下标r
已知输入及观测值为0,求系统

你可能感兴趣的:(计算机视觉——矩阵与张量)