数值分析_第三章_函数逼近和快速傅里叶变换

函数逼近

\qquad 函数就是在区间$[a,b]$上用简单函数逼近已知的复杂函数问题。即函数$A$中给定的函数$f(x)$，记作$f(x)\in A$，要求在另一类简单的便于计算的函数类$B$中求函数$p(x)\in B$，使$p(x)$与$f(x)$的误差在某种度量下意义下最小。
\qquad 次数不超过$n$次的多项式集合$H_n$，其元素$p(x)\in H_n$表示为
$$p(x)=a_0+a_{1}x+\cdots +a_n{x}^n$$ \quad 是由$n+1$个系数$(a_0,a_1,\cdots ,a_n)$唯一确定。$1,x,\cdots ,x^n$线性无关，使$H$的一组基。
\qquad 可用一组在$C[a,b]$上线性无关的函数集合$\{{\phi }_i(x){\}}_{i=0}^n$来逼近$f(x)\in C[a,b]$，元素${\phi }_i(x)\in \Phi =span\{{\phi }_0(x),{\phi }_1(x),\cdots ,{\phi }_n(x)\}\subset C[a,b]$，表示为
$$\phi (x)=a_0{\phi }_1(x)+a_1{\phi }_1(x)+\cdots +a_n{\phi }_n(x)$$ \qquad 函数逼近问题就是对$f(x)\in C[a,b]$，在子空间$\Phi$中找到一个元素${\phi }^{\ast }(x)\in \Phi$，使$f(x)-{\phi }^{\ast }(x)$在某种意义下最小。范数是为了对线性函数空间中的元素大小进行衡量（即为“某种度量”）。
\qquad 在${\mathbb{R}}^n$上的向量$x=(x_1,x_2,\cdots ,x_n{)}^T\in {\mathbb{R}}^n$常见范数：
$||x|{|}_{\infty }=max|x_i|$，称为$\infty$-范数或最大范数，
$||x|{|}_1={\sum }_{i=1}^n|x_i|$，称为1-范数，
$||x|{|}_2=({\sum }_{i=1}^n{x}_i^2{)}^{\frac{1}{2}}$，称为2-范数。
\qquad 对于连续函数空间$C[a,b]$，若$f\in C[a,b]$常见函数范数
$||f|{|}_{\infty }=max|f(x)|$，称为$\infty$-范数，
$||f|{|}_1={\int }_a^b|f(x)|dx$，称为1-范数，
$||f|{|}_2=({\int }_a^b{f}^2(x)dx{)}^{\frac{1}{2}}$，称为2-范数。
\qquad 最佳逼近，若$P^{\ast }(x)\in H_n$使误差
$$||f(x)-P^{\ast }(x)||=\underset{P\in H_n}{\min }||f(x)-P(x)||$$ \qquad 则称$P^{\ast }(x)$使$f(x)$在$[a,b]$上的最佳逼近多项式，包括最优一致逼近、最佳平方逼近多项式和最小二乘拟合。
\qquad $函数求内积$
$$(f(x),g(x))={\int }_a^b\rho (x)f(x)g(x)dx$$

正交多项式

\qquad 若$f(x),g(x)\in C[a,b],\rho (x)$为在$[a,b]$上的权函数且满足
$$(f(x),g(x))={\int }_a^b\rho (x)f(x)g(x)dx=0$$则$f(x)$与$g(x)$在$[a,b]$上带权$\rho (x)$正交，若函数族${\phi }_0(x),{\phi }_1(x),\cdots ,{\phi }_n(x)$满足关系
$$({\phi }_j,{\phi }_k)={\int }_a^b\rho (x){\phi }_j{\phi }_{k}dx=\{\begin{array}{l}0,j̸=k,\\ A_k>0,j=k,\end{array}$$ \quad 则称$\{{\phi }_k(x)\}$是$[a,b]$上带权$\rho (x)$的正交函数族，若$A_k=1$，称为标准正交函数组。给定区间$[a,b]$及带权$\rho (x)$函数，均可由一组线性无关的幂函数$\{1,x,\cdots ,x^n\}$，利用正交化手段构造正交多项式序列$\{{\phi }_n(x){\}}_0^{\infty }$。
\qquad 构造正交多项式设$\{{\phi }_n(x){\}}_0^{\infty }$是$[a,b]$上带权$\rho (x)$的正交多项式，对$n\ge 0$成立递推关系为
$${\phi }_{n+1}(x)=(x-{\alpha }_n){\phi }_n(x)-{\beta }_n{\phi }_{n-1}(x)，n=0,1,\cdots ,$$
其中，
$$\begin{gathered} {\phi }_0(x)=1,{\phi }_{-1}(x)=0 \\ {\alpha }_n=(x{\phi }_n(x),{\phi }_n(x))/({\phi }_n(x),{\phi }_n(x)), \\ {\beta }_n=({\phi }_n(x),{\phi }_n(x))/({\phi }_{n-1}(x),{\phi }_{n-1}(x)),n=1,2,\cdots \end{gathered}$$这里$(x{\phi }_n(x),{\phi }_n(x))={\int }_a^{b}x{\phi }_n^2(x)\rho (x)dx$
\qquad 勒让德多项式 在区间[-1，1]，权函数$\rho (x)=1$，由$\{1,x,\cdots ,x^n,\cdots \}$正交化得到的多项式为勒让德多项式。
$$P_0(x)=1,P_n(x)=\frac{1}{2^{n}n!}\frac{d^n}{d{x}^n}(x^2-1{)}^n,n=1,2,\cdots$$
1.(正交性)
$${\int }_{-1}^1{P}_n(x)P_m(x)dx=\{\begin{array}{l}0,m̸=m;\\ \frac{2}{2n+1},m=n.\end{array}$$
2.(递推关系)
$$(n+1)P_{n+1}(x)=(2n+1)x{P}_n(x)-n{P}_{n-1}(x),n=1,2,\cdots$$ \qquad 切比雪夫多项式 权函数$\rho (x)=\frac{1}{\sqrt{1-x^2}}$，区间为[-1,1]时，由序列$\{1,x,\cdots ,x^n,\cdots \}$正交化得到的正交多项式为切比雪夫多项式
$$T_n(x)=cos(narccosx),|x|\le 1$$若令$x=cos\theta$，则$T_n(x)=cosn\theta ,0\le \theta \le \pi$。
1.(递推关系)
$$\{\begin{array}{l}{T}_0(x)=1,T_1(x)=x\\ T_{n+1}(x)=2x{T}_n(x)-T_{n-1}(x),n=1,2,\cdots \end{array}$$
2.(正交性)
$${\int }_{-1}^1\frac{T_n(x)T_m(x)}{\sqrt{1-x^2}}={\int }_0^{n}cosn\theta cosm\theta d\theta =\{\begin{array}{l}0,n̸=m\\ \frac{\pi }{2},n=m̸=0\\ \pi ,n=m=0\end{array}$$

最佳平方逼近

\qquad 研究在区间[a,b]上一般的最佳平方逼近问题，对$f(x)\in C[a,b]$及$C[a,b]$中的一个子集$\phi (x)=span\{{\phi }_0(x),{\phi }_1(x),\cdots ,{\phi }_n(x)\}$，若存在$S^{\ast }(x)\in \phi$，使
$$\begin{gathered} ||f(x)-S^{\ast }(x)|{|}_2^2=\underset{S(x)\in \phi }{\min }||f(x)-S(x)|{|}_2^2 \\ =\underset{S(x)\in \phi }{\min }{\int }_a^b\rho (x)[f(x)-S(x){]}^{2}dx \end{gathered}$$则称$S^{\ast }(x)$是$f(x)$在子集上$\varphi \subset C[a,b]$中的最佳平方逼近函数，等价于求多元函数
$$I(a_0,a_1,\cdots ,a_n)={\int }_a^b\rho (x)[\sum _{j=0}^n{a}_j{\phi }_j(x)-f(x){]}^{2}dx$$的最小值。由多元函数求极值的必要条件
$$\frac{\partial I}{\partial a_k}=0，k=0,1,\cdots ,n,$$即
$$\frac{\partial I}{\partial a_k}=2{\int }_a^b\rho (x)[\sum _{j=0}^n{a}_j{\phi }_j(x)-f(x)]{\phi }_k(x)dx=0,k=0,1,\cdots ,n$$于是有
$$\sum _{j=0}^n({\phi }_k(x),{\phi }_j(x))a_j=(f(x),{\phi }_k(x)),k=0,1,\cdots ,n.$$这是关于$a_0,a_1,\cdots ,a_n$的线性方程组，称为法方程。（即为函数逼近的求解要点）
\qquad 求解过程为:
$$\left[\begin{array}{ccc}({\phi }_0(x),{\phi }_0(x))& \cdots & ({\phi }_0(x),{\phi }_n(x))\\ ⋮& \ddots & ⋮\\ ({\phi }_n(x),{\phi }_0(x))& \cdots & ({\phi }_n(x),{\phi }_n(x))\end{array}\right]\left[\begin{array}{c}{a}_0\\ ⋮\\ a_n\end{array}\right]=\left[\begin{array}{c}(f(x),{\phi }_0(x))\\ ⋮\\ (f(x),{\phi }_n(x))\end{array}\right]$$$$Ha=d$$ \qquad 由于${\phi }_0(x),{\phi }_1(x),\cdots ,{\phi }_n(x)$线性无关，故系数$detG({\phi }_0(x),{\phi }_1(x),\cdots ,{\phi }_n(x))̸=0$，所以线性方程组有唯一的$a_k=a_k^{\ast }(k=0,1,\cdots ,n)$，从而得到
$$S^{\ast }(x)=a_0^{\ast }{\phi }_0(x)+\cdots +a_n^{\ast }{\phi }_n(x)$$ \qquad 若令$\delta (x)=f(x)-S^{\ast }(x)$，则最佳平方逼近的误差为
$$||\delta (x)|{|}_2^2=(f(x)-S^{\ast }(x),f(x)-S^{\ast }(x))=||f(x)|{|}_2^2-\sum _{k=0}^n{a}_k^{\ast }({\phi }_k(x),f(x))$$ \quad 方程求解过程中给定${\phi }_i(x)$、权函数$\rho (x)$和函数区间$f(x)\in C[a,b]$。两个经典的${\phi }_i(x)$构造方法：
1.给定${\phi }_i(x)=x^k,\rho (x)\equiv 1,f(x)\in C[0,1]$则最佳多项式为：
$$\begin{gathered} ({\phi }_j(x),{\phi }_k(x))={\int }_0^1{x}^{k+j}dx=\frac{1}{k+j+1} \\ (f(x),{\phi }_k(x))={\int }_0^{1}f(x)x^{k}dx=d_k \end{gathered}$$$$\begin{gathered} S^{\ast }(x)=a_0^{\ast }+a_1^{\ast }x+\cdots +a_n^{\ast }{x}^n \\ H=\left[\begin{array}{ccc}1& \cdots & 1/(n+1)\\ ⋮& \ddots & ⋮\\ 1/n& \cdots & 1/(2n+1)\end{array}\right] \end{gathered}$$ 缺点为当$n\to \infty$时矩阵高度病态。取正交函数族可以避免该问题(不需求解线性方程组)。
2.设$f(x)\in C[a,b],\phi =span\{{\phi }_0(x),{\phi }_1(x),\cdots ,{\phi }_n(x)\}$，使得${\phi }_0(x),{\phi }_1(x),\cdots ,{\phi }_n(x)$为正交函数族。故法方程的系数矩阵$G_n=G({\phi }_0(x),{\phi }_1(x),\cdots ,{\phi }_n(x))$为非奇异对称矩阵，方程解为
$$a_k^{\ast }=(f(x),{\phi }_k(x))/({\phi }_k(x),{\phi }_k(x)),k=0,1,\cdots ,n$$ \qquad 最佳逼近函数为：
$$S^{\ast }(x)=\sum _{k=0}^n\frac{(f(x),{\phi }_k(x))}{||{\phi }_k(x)|{|}_2^2}{\phi }_k(x)$$

最小二乘拟合

\qquad 若$f(x)\in C[a,b]$，如果$f(x)$只在一组离散点集上给出$\{x_i,i=0,1,\cdots ,m\}$上给出，即为常见实验数据$\{(x_i,y_i),i=0,1,\cdots ,m\}$的曲线拟合，其中$y_i=f(x_i)(i=0,1,\cdots ,m)$，求函数$y=S^{\ast }(x)$使得
$$||\delta |{|}_2^2=\sum _{i=0}^m{\delta }_i^2=\sum _{i=0}^m[S^{\ast }(x_i)-y_i{]}^2=\underset{S(x)\in \phi }{\min }\sum _{i=0}^m[S(x_i)-y_i{]}^2$$
其中
$$S(x)=a_0{\phi }_0(x)+a_1{\phi }_1(x)+\cdots +a_n{\phi }_n(x)(n<m)$$上式就是一般的最小二乘逼近，使用几何语言描述即为曲线拟合的最小二乘法。将其转化为求多元函数
$$I(a_0,a_1,\cdots ,a_n)=\sum _{i=0}^m\omega (x_i)[\sum _{j=0}^n{a}_j{\phi }_j(x_i)-f(x_i){]}^2$$其中$\omega (x_i)$作为权函数，表示不同点的比重不同，有多元函数极值的必要条件有：
$$\frac{\partial I}{\partial a_k}=2\sum _{i=0}^m\omega (x_i)[\sum _{j=0}^n{a}_j{\phi }_j(x_i)-f(x_i)]{\phi }_k(x_i)dx=0,k=0,1,\cdots ,n$$
其中
$$\begin{gathered} ({\phi }_j,{\phi }_k)=\sum _{i=0}^m\omega (x_i){\phi }_j(x_i){\phi }_k(x_i) \\ (f,{\phi }_k)=\sum _{i=0}^m\omega (x_i)f(x_i){\phi }_k(x_i) \end{gathered}$$所以，与连续形式的不同在于分解为离散点。
$$\sum _{j=0}^n({\phi }_j,{\phi }_k)a_j=d_{k}k=0,1,\cdots ,n$$表示为矩阵形式
$$\left[\begin{array}{ccc}({\phi }_0,{\phi }_0)& \cdots & ({\phi }_0,{\phi }_n)\\ ⋮& \ddots & ⋮\\ ({\phi }_n,{\phi }_0)& \cdots & ({\phi }_n,{\phi }_n)\end{array}\right]\left[\begin{array}{c}{a}_0\\ ⋮\\ a_n\end{array}\right]=\left[\begin{array}{c}(f(x),\phi (x))\\ ⋮\\ (f(x),\phi (x))\end{array}\right]$$