拟合:最小二乘逼近

∫ a b f ( x ) g ( x ) d x = 0 \int^b_af(x)g(x)dx=0 abf(x)g(x)dx=0表示在[a,b]区间, f ( x ) f(x) f(x) g ( x ) g(x) g(x)正交

函数空间的标准正交基是自乘为1,它乘为0的一组函数

最小二乘法通用求解法

对每个未知参数求偏导,令结果等于0构建方程组,通过解方程组得到每个参数

求目标函数 Φ ( x ) \Phi(x) Φ(x)可以拆成基函数 ϕ i ( x ) \phi_i(x) ϕi(x)的线性组合,可以理解成函数空间中的一个点

它求偏导后,可以构成这样的方程组, ρ ( x i ) \rho(x_i) ρ(xi)是权重
a 1 ∑ ϕ 1 ( x i ) ϕ 1 ( x i ) ρ ( x i ) + ϕ 1 ( x i ) ϕ 2 ( x i ) ρ ( x i ) + . . . = ∑ f ( x i ) ϕ 1 ( x i ) ρ ( x i ) a_1\sum\phi_1(x_i)\phi_1(x_i)\rho(x_i)+\phi_1(x_i)\phi_2(x_i)\rho(x_i)+...=\sum f(x_i)\phi_1(x_i)\rho(x_i) a1ϕ1(xi)ϕ1(xi)ρ(xi)+ϕ1(xi)ϕ2(xi)ρ(xi)+...=f(xi)ϕ1(xi)ρ(xi)
a 1 ∑ ϕ 2 ( x i ) ϕ 1 ( x i ) ρ ( x i ) + ϕ 2 ( x i ) ϕ 2 ( x i ) ρ ( x i ) + . . . = ∑ f ( x i ) ϕ 2 ( x i ) ρ ( x i ) a_1\sum\phi_2(x_i)\phi_1(x_i)\rho(x_i)+\phi_2(x_i)\phi_2(x_i)\rho(x_i)+...=\sum f(x_i)\phi_2(x_i)\rho(x_i) a1ϕ2(xi)ϕ1(xi)ρ(xi)+ϕ2(xi)ϕ2(xi)ρ(xi)+...=f(xi)ϕ2(xi)ρ(xi)
. . . ... ...
通过解方程组求出系数 a i a_i ai

例如拟合 y = a x + b y=ax+b y=ax+b,可以拆成 1 , x 1, x 1,x的线性组合

如果基函数是正交的,那么上面的方程中 ∑ ϕ i ( x i ) ϕ j ( x i ) ρ ( x i ) 当 i ≠ j \sum\phi_i(x_i)\phi_j(x_i)\rho(x_i) 当i≠j ϕi(xi)ϕj(xi)ρ(xi)i=j时会变成0,会出现大量约简

几种正交基函数的构造

( f ( x ) , g ( x ) ) (f(x),g(x)) (f(x),g(x))是内积符号,即 ∫ f ( x ) g ( x ) \int f(x)g(x) f(x)g(x)

勒让德多项式

L 0 ( x ) = 1 L_0(x)=1 L0(x)=1
L 1 ( x ) = x L_1(x)=x L1(x)=x
L n + 1 ( x ) = 2 n + 1 n + 1 L n ( x ) − n n + 1 L n − 1 ( x ) L_{n+1}(x)=\frac{2n+1}{n+1}L_n(x)-\frac{n}{n+1}L_{n-1}(x) Ln+1(x)=n+12n+1Ln(x)n+1nLn1(x)
在[-1,1]正交

L n ( x ) = 1 2 n n ! d n ( x 2 − 1 ) n d x n L_n(x)=\frac{1}{2^nn!}\frac{d^n(x^2-1)^n}{dx^n} Ln(x)=2nn!1dxndn(x21)n

他有
( L n ( x ) , L m ( x ) ) = { 0 m ≠ n 2 2 n + 1 n = m (L_n(x),L_m(x))=\begin{cases} 0 & m≠n \\ \frac{2}{2n+1} & n=m\end{cases} (Ln(x),Lm(x))={02n+12m=nn=m

切比雪夫多项式

T 0 ( x ) = 1 , T 1 ( x ) = x T_0(x)=1,T_1(x)=x T0(x)=1,T1(x)=x
T n + 1 ( x ) = 2 x T n ( x ) − T n − 1 ( x ) T_{n+1}(x)=2xT_n(x)-T_{n-1}(x) Tn+1(x)=2xTn(x)Tn1(x)
T n ( x ) = c o s ( a r c c o s   x ) T_n(x)=cos(arccos\ x) Tn(x)=cos(arccos x)
在[-1,1],关于权函数 ρ ( x ) = 1 1 − x 2 \rho(x)=\frac{1}{\sqrt{1-x^2}} ρ(x)=1x2 1正交
( T n ( x ) , T m ( x ) ) = { 0 m ≠ n π 2 n = m = 0 π m = n ≠ 0 (T_n(x),T_m(x))=\begin{cases} 0 & m≠n \\ \frac{π}{2}& n=m=0\\ π &m=n≠0 \end{cases} (Tn(x),Tm(x))= 02ππm=nn=m=0m=n=0

埃尔米特多项式

H 0 ( x ) = 1 , H 1 ( x ) = 2 x H_0(x)=1,H_1(x)=2x H0(x)=1,H1(x)=2x
H n + 1 ( x ) = 2 x H n ( x ) − 2 n H n − 1 ( x ) H_{n+1}(x)=2xH_n(x)-2nH_{n-1}(x) Hn+1(x)=2xHn(x)2nHn1(x)

H n ( x ) = ( − 1 ) n e x 2 d n e − x 2 d x n H_n(x)=(-1)^ne^{x^2}\frac{d^ne^{-x^2}}{dx^n} Hn(x)=(1)nex2dxndnex2

在正负无穷上,对于权函数 ρ ( x ) = e − x 2 \rho(x)=e^{-x^2} ρ(x)=ex2正交

( L n ( x ) , L m ( x ) ) = { 0 m ≠ n 2 n ! π n = m (L_n(x),L_m(x))=\begin{cases} 0 & m≠n \\ 2^n!\sqrt{π} & n=m\end{cases} (Ln(x),Lm(x))={02n!π m=nn=m

拉盖尔多项式

U 0 ( x ) = 1 , U 1 ( x ) = 1 − x U_0(x)=1, U_1(x)=1-x U0(x)=1,U1(x)=1x
U n + 1 ( x ) = ( 1 + 2 n − x ) U n ( x ) − n 2 U n − 1 ( x ) U_{n+1}(x)=(1+2n-x)U_n(x)-n^2U_{n-1}(x) Un+1(x)=(1+2nx)Un(x)n2Un1(x)

U n ( x ) = e x d n ( x n e − x ) d x n U_n(x)=e^x\frac{d^n(x^ne^{-x})}{dx^n} Un(x)=exdxndn(xnex)

在正无穷上,对于权函数 ρ ( x ) = e − x \rho(x)=e^{-x} ρ(x)=ex正交

你可能感兴趣的:(算法,机器学习,人工智能)