矩阵运算(一)最小二乘法

前言

  最小二乘法在函数拟合的过程中广为应用，不少读者使用笔者早期写的矩阵运算库，以求逆的方式得到拟合系数，这种算法虽然简单，但并不健壮;而使用QR分解(induced QR)得到的最小二乘法的结果，不论是在数据精度上的保证，还是算法时间复杂度上都得到了质的飞跃。

最小二乘法拟合一元多项式的简单推导

  设自变量为$x$，因变量为$y$，欲求一元二次多项式$y=a_n{x}^n+a_{n-1}{x}^{n-1}+......+a_0$
即求系数$a_n,a_{n-1},......,a_0$
  将$m$组$x$构建为矩阵$A$
$\left[\begin{array}{cccc}1& x_1& ...& x_1^n\\ 1& x_2& ...& x_2^n\\ 1& x_3& ...& x_3^n\\ ...& & & \\ 1& x_m& ...& x_m^n\end{array}\right]$
  可得方程$Ab=Y$
  其中$b=[a_0,a_1,...,a_n{]}^T$
  $Y=[y_1,y_2,...,y_m{]}^T$
  在$m=n$的情况下有$b=A^{-1}Y$
  在$m\ne n$的情况下有$A^{T}Ab=A^{T}Y$
  令$T=A^{T}A$
  则$b=T^{-1}{A}^{T}Y$

进一步的思考

  矩阵求逆的时间复杂度较大为$O(m^3)$,因此算法工程师在实现最小二乘法的过程中会调用QR分解，QR分解的实现不算复杂，但可能要耗费编程者的很多心思，笔者在这里建议读者调用Eigen库以实现这一结果。

CPP开发者封装最小二乘法

  使用CPP封装最小二乘法的时候，笔者建议使用Eigen库

//张九韶算法
inline double polyeval(Eigen::VectorXd coeffs, double x) {
  double result = 0.0;
  for(int i= coeffs.size()-1;i>0;i--){
  		result+=coeffs[i];
  		result*=x;
  }
  result+=coeffs[0];
  return result;
}
//系数拟合
Eigen::VectorXd polyfit(Eigen::VectorXd xvals, Eigen::VectorXd yvals, int order) {
  assert(xvals.size() == yvals.size());
  assert(order >= 1 && order <= xvals.size() - 1);
  Eigen::MatrixXd A(xvals.size(), order + 1);
  for (int i = 0; i < xvals.size(); i++) {
    A(i, 0) = 1.0;
  }
  for (int j = 0; j < xvals.size(); j++) {
    for (int i = 0; i < order; i++) {
      A(j, i + 1) = A(j, i) * xvals(j);
    }
  }
  auto Q = A.householderQr();
  auto result = Q.solve(yvals);
  return result;
}

QR分解

Matlab中使用QR分解

[Q,R]=qr(A)

Python numpy中使用

import numpy as np
q,r = np.linalg.qr(A)

参考文献

[1] 矩阵论 戴华

作者说

  笔者初学C++时写过一篇矩阵运算的文章，近期这篇文章反响不错，自认为当时那篇文章太过粗糙，笔者将持续推出矩阵运算这一系列的文章，希望读者能够喜欢。当然，如果你对内容有疑惑，欢迎你联系我的邮箱[email protected]，如果你想支持我的创造，欢迎打赏，我的支付宝账号是[email protected]。