【NA】函数最佳逼近(一)

• 【问题描述】对于给定的函数 $f$，要求在一个简单函数类 $B$ (例如多项式函数类、三角函数类)中寻找一个函数 $s$ 来近似 $f$，使误差在某种度量(例如绝对值误差、平方误差)下达到最小。由此求出的函数 $s(x)$ 称为 $f(x)$ 的最佳逼近函数，这样的问题称为最佳逼近问题。若 $f(x)$ 是连续变量的函数，称 $s(x)$ 为函数逼近；若由 $f(x)$ 的离散数据求出 $s(x)$，称为数据拟合。
• 我们可以看到，在上面的描述中有两个关键点：①简单函数类；②误差度量标准。前者决定了构造出的函数空间，后者决定了衡量逼近质量的标准。不同的函数空间构造以及度量准则形成了不同的数值逼近方法。
• 在最佳逼近问题中，如果使用内积诱导范数来度量误差，那么该最佳逼近问题本质上是内积空间中的正交投影问题。

---

正交投影.

• 设 $\{x_i|i=1,2,...,n\}$ 是内积空间 $U$ 中的 $n$ 个线性无关元素，张成一个 $n$ 维线性子空间 $M=span\{x_1,x_2,...,x_n\}=\{y|y={\sum }_{i=1}^n{\alpha }_i{x}_i\}$.
• 若对于 $\forall x\in U,\exists x^{\ast }={\sum }_{i=1}^n{\alpha }^{\ast }{x}_i\in M$ 使得 $||x-x^{\ast }||=mi{n}_{y\in M}||x-y||$，则称 $x^{\ast }$ 是 $x$ 在 $M$ 中的最佳逼近元，这里的范数 $||●||$ 是内积 $(●,●)$ 诱导出的范数。

正交投影定理.

• 若 $M$ 是内积空间 $U$ 中完备的线性子空间，那么对于 $\forall x\in U$，在 $M$ 中存在唯一的正交投影 $x^{\ast }$，即 $x^{\ast }\in M,x-x^{\ast }\in M^{\perp }$；并且 $x^{\ast }$ 是 $x$ 在 $M$ 中的最佳逼近元，即 $||x-x^{\ast }||=mi{n}_{y\in M}||x-y||$.
• 该定理表明，内积空间中的任意元素在完备线性子空间中存在唯一的正交投影，并且该正交投影也是最佳逼近元。于是采取内积诱导范数衡量误差的最佳逼近问题等价于内积空间中的正交投影问题。

正规方程法.

• 依据正交投影定理，我们仅需求解出正交投影就能解决一类特殊的最佳逼近问题。
• 正交投影 $x^{\ast }$ 满足以下两点 $x^{\ast }\in M;x-x^{\ast }\in M^{\perp }$，等价形式为 $①x^{\ast }={\sum }_{i=1}^n{\alpha }_i^{\ast }{x}_i;②(x-x^{\ast },x_j)=0,j=1,2,...,n$.
• 将①代入②得到 $(x-{\sum }_{i=1}^n{\alpha }_i^{\ast }{x}_i,x_j)=0,j=1,2,...,n$，其中 $x_j$ 代表完备线性子空间中的线性无关元素。根据内积性质可得 ${\sum }_{i=1}^n{\alpha }_i^{\ast }(x_i,x_j)=(x,x_j),j=1,2,...,n$.
• 转化为矩阵表示：
  
• 上面的线性方程组称为正规方程组Normal Equations，简记为 $A{\alpha }^{\ast }=b$. 显然系数矩阵 $A$ 是共轭对称矩阵，而 $x_i|i=1,2,...,n$ 是线性无关组，所以 $A$ 非奇异矩阵，正规方程组存在唯一解 ${\alpha }^{\ast }$，对应着 $x$ 在 $M$ 中有唯一的最佳逼近元 $x^{\ast }={\sum }_{i=1}^n{\alpha }_i^{\ast }{x}_i$.
• 当线性空间 $M$ 的这组无关向量正交时，即 $(x_i,x_j)=0|i\ne j$，此时 $A$ 为对角矩阵，系数 ${\alpha }_i^{\ast }=\frac{(x,x_i)}{(x_i,x_i)},i=1,2,...,n$；如果条件更强烈，$\{x_i|i=1,2,...,n\}$ 是一组规范正交系，那么 ${\alpha }_i^{\ast }=(x,x_i)$.

Machine Learning.

• 回忆机器学习中的线性回归问题 $Y=X\theta +b;y\in R^m,X\in R^{m\times n},\theta \in R^n,b\in R^n$，给定数据集 $(X,Y)=\{(x^{(i)},y^{(i)})|i=1,2,...,m\}$，我们需要拟合出参数 $\theta ,b.$
• 上面的线性回归问题也可以写为线性方程组的矩阵形式：
  
• 我们的目的是寻找使得平方误差最小的参数 $\theta$，等价于求解 ${\theta }^{\ast }=argma{x}_{\theta }||y-X\theta |{|}^2=argma{x}_{\theta }(y-X\theta {)}^T(y-X\theta ).$ 对参数 $\theta$ 求偏导数并令其为0，最终解得 ${\theta }^{\ast }=(X^{T}X{)}^{-1}{X}^{T}y.$

误差估计.

• 我们得到的最佳逼近元为 $x^{\ast }$，记误差 $\delta =x-x^{\ast }$，那么 $||\delta |{|}^2=||x-x^{\ast }|{|}^2=(x-x^{\ast },x-x^{\ast })=(x-x^{\ast },x)-(x-x^{\ast },x^{\ast })=(x-x^{\ast },x)=(x,x)-{\sum }_{i=1}^n{\alpha }_i^{\ast }(x_i,x)$.
• 另一方面由于 $x=x^{\ast }+\delta$，所以 $||x|{|}^2=(x,x)=(x^{\ast }+\delta ,x^{\ast }+\delta )=(x^{\ast },x^{\ast })+(\delta ,\delta )+(x^{\ast },\delta )+(\delta ,x^{\ast })=||x^{\ast }||+||\delta |{|}^2$.
• 综合上述两式，有 $||x^{\ast }|{|}^2=(x^{\ast },x^{\ast })={\sum }_{i=1}^n{\alpha }_i^{\ast }(x_i,x)=(x^{\ast },x)$. 以二维向量空间直观理解，即 $(x^{\ast },x)=||x^{\ast }||\cdot ||x||\cdot cos<x^{\ast },x>=||x^{\ast }|{|}^2$.

实值连续函数.

• 上部分中讨论了以平方误差(2范数)为标准的最佳逼近问题，转化为内积空间中的正交投影问题求解。对于实值连续函数的逼近问题而言，上部分中的讨论就不再适用。因此我们需要定义新的内积——函数加权内积：$$(f,g)={\int }_a^b\rho (x)f(x)g(x)dx.$$
• 以及由此内积诱导出的函数加权2范数：$$||f|{|}_2={\int }_a^b\rho (x)f^2(x)dx.$$
• 其中的 $\rho (x)$ 称为权函数，常见使用的权函数为 $\rho (x)=1$. 权函数需要满足下面三条性质：$$\begin{gathered} ①\rho (x)\ge 0,x\in [a,b]; \\ ②{\int }_a^b{x}^k\rho (x)dx＜\infty ,k=0,1,2,...; \\ ③\forall h(x)\in C[a,b],h(x)\ge 0,{\int }_a^{b}h(x)\rho (x)dx=0\Rightarrow h(x)\equiv 0. \end{gathered}$$

---

• 设 $\{{\varphi }_i(x)|i=0,1,...,n\}$ 是 $C[a,b]$ 中的 $n+1$ 个线性无关函数，张成线性子空间 $M=span\{{\varphi }_0(x),{\varphi }_1(x),...,{\varphi }_n(x)\}\subset C[a,b].$ 若对于 $f(x)\in C[a,b]$，存在 $s^{\ast }(x)={\sum }_{i=0}^n{\alpha }_i^{\ast }{\varphi }_i(x)\in M$ 使得 $$||f(x)-s^{\ast }(x)|{|}_2=mi{n}_{s(x)\in M}||f(x)-s(x)|{|}_2.$$ 那么 $s^{\ast }(x)$ 称为 $f(x)$ 在空间 $M$ 中带权函数 $\rho (x)$ 的最佳平方逼近函数。

若误差度量采用2-范数，则最佳逼近问题称为最佳平方逼近；若采用 $\infty$-范数，则称为最佳一致逼近。

• 在完备的子空间 $M$ 中，最优解 $s^{\ast }(x)={\sum }_{i=0}^n{\alpha }_i^{\ast }{\varphi }_i(x)$ 唯一存在，其中系数 ${\alpha }_i^{\ast }|i=0,1,...,n$ 是如下正规方程组的解：
  
• 在前面的插值问题中，由于多项式函数计算简单的优势，我们常采取多项式函数作为插值基函数。在函数逼近中也是如此，常取 $M=span\{1,x,x^2,...,x^n\}=\{x^k|k=0,1,...,n\}$，此时得到的 $s^{\ast }(x)$ 称为最佳平方逼近多项式，可以视为最佳平方逼近函数中的一类。

Hilbert矩阵.

• 考虑上部分最后提到的完备线性子空间 $M=\{x^k|k=0,1,...,n\}$，在区间 $[0,1]$ 中写出正规方程组，发现其系数矩阵为 $n-1$ 阶Hilbert矩阵。
• 推导如下：$({\varphi }_i,{\varphi }_j)={\int }_0^1{x}^i{x}^{j}dx=(i+j+1{)}^{-1}$，因此其系数矩阵如下所示：
• 当 $n$ 较大时，该系数矩阵病态程度很高，导致整个线性方程组数值解不稳定。为了解决这一问题，我们希望在空间 $M$ 中寻找一组正交多项式基，高效地得到最佳逼近函数 $s^{\ast }(x)$ 中的系数，从而避免病态方程组求解问题。