拟合:最小二乘逼近

${\int }_a^{b}f(x)g(x)dx=0$表示在[a,b]区间,$f(x)$和$g(x)$正交

函数空间的标准正交基是自乘为1,它乘为0的一组函数

最小二乘法通用求解法

对每个未知参数求偏导,令结果等于0构建方程组,通过解方程组得到每个参数

求目标函数$\Phi (x)$可以拆成基函数${\varphi }_i(x)$的线性组合,可以理解成函数空间中的一个点

它求偏导后,可以构成这样的方程组,$\rho (x_i)$是权重
$a_1\sum {\varphi }_1(x_i){\varphi }_1(x_i)\rho (x_i)+{\varphi }_1(x_i){\varphi }_2(x_i)\rho (x_i)+...=\sum f(x_i){\varphi }_1(x_i)\rho (x_i)$
$a_1\sum {\varphi }_2(x_i){\varphi }_1(x_i)\rho (x_i)+{\varphi }_2(x_i){\varphi }_2(x_i)\rho (x_i)+...=\sum f(x_i){\varphi }_2(x_i)\rho (x_i)$
$...$
通过解方程组求出系数$a_i$

例如拟合$y=ax+b$,可以拆成$1,x$的线性组合

如果基函数是正交的,那么上面的方程中$\sum {\varphi }_i(x_i){\varphi }_j(x_i)\rho (x_i)当i\ne j$时会变成0,会出现大量约简

几种正交基函数的构造

记$(f(x),g(x))$是内积符号,即$\int f(x)g(x)$

勒让德多项式

$L_0(x)=1$
$L_1(x)=x$
$L_{n+1}(x)=\frac{2n+1}{n+1}{L}_n(x)-\frac{n}{n+1}{L}_{n-1}(x)$
在[-1,1]正交

$L_n(x)=\frac{1}{2^{n}n!}\frac{d^n(x^2-1{)}^n}{d{x}^n}$

他有
$(L_n(x),L_m(x))=\{\begin{array}{ll}0& m\ne n\\ \frac{2}{2n+1}& n=m\end{array}$

切比雪夫多项式

$T_0(x)=1,T_1(x)=x$
$T_{n+1}(x)=2x{T}_n(x)-T_{n-1}(x)$
$T_n(x)=cos(arccosx)$
在[-1,1],关于权函数$\rho (x)=\frac{1}{\sqrt{1-x^2}}$正交
$(T_n(x),T_m(x))=\{\begin{array}{ll}0& m\ne n\\ \frac{\pi }{2}& n=m=0\\ \pi & m=n\ne 0\end{array}$

埃尔米特多项式

$H_0(x)=1,H_1(x)=2x$
$H_{n+1}(x)=2x{H}_n(x)-2n{H}_{n-1}(x)$

$H_n(x)=(-1{)}^n{e}^{x^2}\frac{d^n{e}^{-x^2}}{d{x}^n}$

在正负无穷上,对于权函数$\rho (x)=e^{-x^2}$正交

$(L_n(x),L_m(x))=\{\begin{array}{ll}0& m\ne n\\ 2^n!\sqrt{\pi }& n=m\end{array}$

拉盖尔多项式

$U_0(x)=1,U_1(x)=1-x$
$U_{n+1}(x)=(1+2n-x)U_n(x)-n^2{U}_{n-1}(x)$

$U_n(x)=e^x\frac{d^n(x^n{e}^{-x})}{d{x}^n}$

在正无穷上,对于权函数$\rho (x)=e^{-x}$正交