数值分析(6)-函数逼近的基本概念

整理一下数值分析的笔记~
目录：

1. 误差

2. 多项式插值与样条插值

3. 函数逼近(THIS)

4. 数值积分与数值微分

5. 线性方程组的直接解法

6. 线性方程组的迭代解法

7. 非线性方程求根

8. 特征值和特征向量的计算

9. 常微分方程初值问题的数值解

---

1. 函数逼近与函数空间

1.1 常见的一次近似式 (|x|很小时,泰勒多项式)

(1) ${}^n\sqrt{1+x}\approx z+\frac{1}{n}x$

(2) $sinx\approx x(x为弧度)$

(3) $tanx\approx x(x为弧度)$

(4) $e^x\approx 1+x$

(5) $ln(1+x)\approx x$

1.2 函数逼近

  对函数类A中给定的$f(x)$，记作$f(x)\in A$,要在另一类简单的便于计算的函数类B中求函数$p(x)\in B$，使$f(x)$和$p(x)$误差在某种度量意义下最小。

   函数类A通常是区间[a,b]上的连续函数，记作$C[a,b]$，称为来连续函数空间。函数类B通常为n次多项式，有理函数或分段低次多项式等。

   数学上常把各种集合中引入某些不同的确定关系称为赋予集合以某种空间结构，并将这样的集合称为空间。

   对次数不超过$n$的实系数多项式全体，按通常多项式与多项式假发及数与多项式乘法构成数域R上的一个线性空间，称为多项式空间。

   所有定义在$[a,b]$上的连续函数集合，按函数加法和数与函数乘法构成数域R上的线性空间记作$C[a,b]$。$C^p[a,b]$称为具有p阶连续导数的函数空间。

定义1：设集合$S$是数域$P$上的线性空间，元素$x_1,...,x_n\in S$，如果存在不全为零的数${\alpha }_1,...,{\alpha }_n\in P$使得${\alpha }_1{x}_1+...+{\alpha }_n{x}_n=0$则称$x_1,...,x_n$线性相关，若只对${\alpha }_1=...={\alpha }_n=0$则称为线性无关。

  若线性空间$S$是由$n$个线性无关的元素生成的，即对所有的$x\in S$，都有$x={\alpha }_1{x}_1+...+{\alpha }_n{x}_n$，则$x_1,...x_n$为空间$S$的一组基，记为$S=span${$x_1,...,x_n$}，并称$S$为$n$维空间，系数${\alpha }_1,...,{\alpha }_n$称为x在基$x_1,...,x_n$下的坐标，记作$({\alpha }_1,...,{\alpha }_n)$，如果$S$中有无限个线性无关元素$x_1,...,x_n,...$则称S为无限维线性空间。

维尔斯特拉斯定理：设$f(x)\in C[a,b]$，则对任何$\epsilon >0$，总存在一个代数多项式$p(x)$，使得$||f(x)-p(x)|{|}_{\infty }<\epsilon$在$[a,b]$上成立。

Bernstein逼近函数：伯恩斯坦根据函数整体逼近得特性构造出伯恩斯坦多项式：

$$\{\begin{array}{l}{B}_n(f,x)={\sum }_{k=0}^{n}f\left(\frac{k}{n}\right)P_k(x)\\ P_k(x)=C_n^k{x}^k(1-x{)}^{m-k}\end{array}$$

且$li{m}_{n\to \infty }{B}_n(f,x)=f(x),x\in [0,1]$成立，但是收敛速度慢且收敛依赖于多项式次数$n\to \infty$。

2. 范数与赋范线性空间

定义2: 设S为线性空间，$x\in S$若存在唯一实数，$||\cdot ||$满足条件：

• $||x||\ge 0$，当且仅当x=0时$||x||=0$（正定性）

• $||\alpha x||=|\alpha |||x||，\alpha \in R$（齐次性）

• $||x+y||\le ||x||+||y||，x,y\in S$（三角不等式）

  则称$||\cdot ||$为线性空间$S$上得范数，$S$与$||\cdot ||$一起称为赋范线性空间，记为$X$。

  在$R^n$上得向量$x\in (x_1,...,x_n{)}^T\in R^n$，三种常用范数为$最大范数，||x|{|}_{\infty }=ma{x}_{1\le i\le n}|x_i|$，$1-范数，||x|{|}_1={\sum }_{i=1}^n|x_i|$,$2-范数，||x|{|}_2=({\sum }_{i=1}^n{x}_i^2{)}^{\frac{1}{2}}$，类似地对连续函数空间$C[a,b]$，若$f(x)\in C[a,b]$可定义三种常用范数$无穷范数，||f|{|}_{infty}=ma{x}_{a\le x\le b}|x_i|$，$1-范数，||f|{|}_1={\int }_a^b|f(x)|dx$，$2-范数，||f|{|}_2=({\int }_a^b{f}^2(x)dx{)}^{\frac{1}{2}}$。

3. 内积和内积空间

定义3：$X$是数域$K$上的线性空间，对所有的$u，v\in X,K$中一个数与之对应，记为$(u,v)$它满足以下条件：

1. $(u,v)=\overline{(u,v)}(共轭)，(u,v)\in X$

2. $(\alpha u,v)=\alpha (u,v),\alpha \in K,u,v\in K$

3. $(u+v,w)=(u,w)+(v,w)，u,v,w\in X$

4. $(u,u)\ge 0当且仅当u=0时(u,u)=0$

则称$(u,v)$为$X$上$u$与$v$的内积，内积的线性空间称为内积空间，当$K$为实数域$R$时$(u,v)=(v,u)$，若$(u,v)=0$则称$u$与$v$正交。

柯西-施瓦茨不等式：设$X$为一个内积空间，对所有的$u,v\in X$有$|(u,v){|}^2\le (u,u)(v,v)$，证明：

当$v=0$显然成立；

当$v!=0$则$(u,v)>0$且对任何数$\lambda$有$0\le (u+\lambda v,u+\lambda v)=(u,u)+2\lambda (u,v)+{\lambda }^2(v,v)$,取$\lambda =-(u,v)/(v,v)$代入上式右端得$(u,u)-2\frac{|(u,v){|}^2}{(v,v)}+\frac{|(u,v){|}^2}{(v,v)}\ge 0$即$|(u,v){|}^2\le (u,u)(v,v)$

定理3：设$X$为一个内积空间${\mu }_1,...{\mu }_n\in X$，矩阵：

$$G=\left[\begin{array}{cccc}({\mu }_1,{\mu }_1)& ({\mu }_2,{\mu }_1)& ...& ({\mu }_n,{\mu }_1)\\ ({\mu }_1,{\mu }_2)& ({\mu }_2,{\mu }_2)& ...& ({\mu }_n,{\mu }_2\\ ...& ...& ...& ...\\ ({\mu }_1,{\mu }_n)& ({\mu }_2,{\mu }_n)& ...& ({\mu }_n,{\mu }_n)\end{array}\right]$$

称为格拉姆矩阵，G非奇异的充分必要条件是${\mu }_1,...,{\mu }_n$线性无关。

定义：设$[a,b]$是有限或无限区间，在$[a,b]$上的非负函数$\rho (x)$满足条件：

1. ${\int }_a^b{x}^k\rho (x)dx$存在且为有限值(k=0,1,2,…)

2. 对$[a,b]$上的非负连续函数$g(x)$，如果${\int }_a^{b}g(x)\rho (x)dx=0,则g(x)=0$

则称$\rho (x)$为$[a,b]$上的一个权函数。

4. 逼近的度量标准

4.1 最佳一致逼近多项式

设$f\in C[a,b]$,寻求多项式$P_n^{\ast }(x)$，使其误差：$||f-P_n^{\ast }|{|}_{\infty }=ma{x}_{a\le x\le b}|f(x)-P_n^{\ast }(x)|=mi{n}_{P_n\in H_n}||f-P_n||$

这种意义下的函数逼近称为最佳一致逼近或均匀逼近。

4.2 最佳平方逼近

采用这个标准：$$\begin{gathered} ||f(x)-S^{\ast }(x)|{|}_2^2=mi{n}_{S(x)\in \varnothing }||f(x)-S(x)|{|}_2^2 \\ =mi{n}_{S(x)\in \varnothing }{\int }_a^b\rho (x)[f(x)-S(x){]}^{2}dx \end{gathered}$$

这种意义下的函数逼近称为最佳平方逼近或均方逼近。

4.3 最小二乘拟合

采用这个标准：$$\begin{gathered} ||f(x)-P^{\ast }(x)|{|}_2^2=mi{n}_{P(x)\in empty}||f(x)-P(x)|{|}_2^2 \\ =mi{n}_{P(x)\in \varnothing }{\sum }_{i=0}^m[f(x_i)-P(x_i){]}^2 \end{gathered}$$，这种意义下的函数逼近称为最小二乘拟合。

---

{持续更新}
欢迎扫描二维码关注微信公众号 深度学习与数学   [每天获取免费的大数据、AI等相关的学习资源、经典和最新的深度学习相关的论文研读，算法和其他互联网技能的学习，概率论、线性代数等高等数学知识的回顾]