数学建模学习笔记（四）——拟合算法

拟合算法简介

1. 与插值算法不同，拟合算法的目的是得到一条确定的曲线；而插值是根据已有的数据来获得一系列新的“靠谱”的数据。
2. 插值要求曲线必须全部经过样本数据点，而拟合所得的结果曲线不一定要经过每一个样本数据点，只要能够通过误差检验即可

一个线性规划的例子

显然，由图中的数据可以得到，可以设置该拟合曲线为 $y=kx+b$，要估计 $k$ 和 $b$ 的值，可以使用高中所学知识——最小二乘法。

最小二乘法

设样本点数据为 $(x_i,y_i)$，$i=1,2,\cdots ,n$，那么最小二乘法有如下两种定义：

1. 第一种定义：$\widehat{y_i}=k{x}_i+b$
   其中：$$\widehat{k_i},\widehat{b_i}=ar{g}_{k,b}min(\sum _{i=1}^n|y_i-\widehat{y_i}|)$$表示表达式的参数为$k$和$b$，而 $\hat{k}$ 和 $\hat{b}$ 能够使得表达式取得最小值。
2. 第二种定义：$\widehat{y_i}=k{x}_i+b$
   其中：$$\hat{k},\hat{b}=ar{g}_{k,b}min(\sum _{i=1}^n(y_i-\widehat{y_i}{)}^2)$$表达的意义与第一种定义相同，只是表达式不同而已。

在平常的应用中，我们常常使用第二种定义。原因是第一种定义中含有绝对值，函数图像有拐点，不易求导。由此可以引申出以下结论：
$\bullet$ 不用奇数次原因
使用奇数次会有负数出现，那么误差就会奇偶相抵
$\bullet$ 不用偶数次原因
像4次这样的次数太高，结果易受极端数据（比如当自变量很大时）的影响。

求解最小二乘法

令$L={\sum }_{i=1}^n(y_i-k{x}_i-b{)}^2$，现在要寻找能够使 $L$ 最小的 $k$ 和 $b$ 的值：$$\{\begin{array}{rl}& \frac{\partial L}{\partial k}=-2\sum _{i=1}^n{x}_i(y_i-k{x}_i-b)=0\\ & \frac{\partial L}{\partial b}=-2\sum _{i=1}^n(y_i-k{x}_i-b)=0\end{array}$$ $$\Rightarrow \{\begin{array}{rl}& \sum _{i=1}^n{x}_i{y}_i=k\sum _{i=1}^n{x}_i^2+b\sum _{i=1}^n{x}_i\\ & \sum _{i=1}^n{y}_i=k\sum _{i=1}^n{x}_i+bn\end{array}$$ $$\Rightarrow \{\begin{array}{rl}& n\sum _{i=1}^n{x}_i{y}_i=kn\sum _{i=1}^n{x}_i^2+bn\sum _{i=1}^n{x}_I\\ & \sum _{i=1}^n{y}_i\sum _{i=1}^n{x}_i=k\sum _{i=1}^n{x}_i\sum _{i=1}^n{x}_i+bn\sum _{i=1}^n{x}_i\end{array}$$
因此：$$n\sum _{i=1}^n{x}_i{y}_i-\sum _{i=1}^n{y}_i\sum _{i=1}^n{x}_i=kn\sum _{i=1}^n{x}_i^2-k\sum _{i=1}^n{x}_i\sum _{i=1}^n{x}_i$$ $$\Rightarrow \hat{k}=\frac{n{\sum }_{i=1}^n{x}_i{y}_i-{\sum }_{i=1}^n{y}_i{\sum }_{i=1}^n{x}_i}{n{\sum }_{i=1}^n{x}_i^2-{\sum }_{i=1}^n{x}_i{\sum }_{i=1}^n{x}_i}$$ $$\Rightarrow \hat{b}=\frac{{\sum }_{i=1}^n{x}_i^2{\sum }_{i=1}^n{y}_i-{\sum }_{i=1}^n{x}_i{\sum }_{i=1}^n{x}_i{y}_i}{n{\sum }_{i=1}^x{x}_i^2-{\sum }_{i=1}^n{x}_i{\sum }_{i=1}^n{x}_i}$$

拟合检验

在函数时线性函数（注意：这里的线性函数是指参数是线性的，而不是自变量是线性的，例如：$y=a{x}^2+b$同样也是线性函数）时，可以使用拟合优度（可决系数）$R^2$ 来判断拟合好坏

1. 拟合优度的定义
   $\bullet$ 总体平方和 $$SST=\sum _{i=1}^n(y_i-\bar{y}{)}^2$$
   $\bullet$ 误差平方和 $$SSE=\sum _{i=1}^n(y_i-\widehat{y_i}{)}^2$$
   $\bullet$ 回归平方和 $$SSR=\sum _{i=1}^n(\widehat{y_i}-\bar{y}{)}^2$$其中，$SST=SSE+SSR$
   此时可以定义拟合优度 $R^2=\frac{SSR}{SST}=\frac{SST-SSE}{SSR}=1-\frac{SSE}{SST}$，$R^2$ 越接近于0，说明误差越小，拟合度越好 。
   下面证明 $SST=SSE+SSR$：$$\begin{gathered} \sum _{i=1}^n(y_i-\bar{y}{)}^2=\sum _{i=1}^n(y_i-\widehat{y_i}+\widehat{y_i}-\bar{y}{)}^2 \\ =\sum _{i=1}^n(y_i-\widehat{y_i}{)}^2+\sum _{i=1}^n(\widehat{y_i}-\bar{y}{)}^2+2\sum _{i=1}^n(y_i-\widehat{y_i})(\widehat{y_i}-\bar{y}) \end{gathered}$$因此，只需证明：$$\sum _{i=1}^n(y_i-\widehat{y_i})(\widehat{y_i}-\bar{y})=0$$由一阶导数条件：$$\{\begin{array}{rl}& \frac{\partial L}{\partial k}=-2\sum _{i=1}^n{x}_i(y_i-k{x}_i-b)=0\\ & \frac{\partial L}{\partial b}=-2\sum _{i=1}^n(y_i-k{x}_i-b)=0\end{array}$$ $$\Rightarrow \{\begin{array}{rl}& \sum _{i=1}^n{x}_i(y_i-\widehat{y_i})=0\\ & \sum _{i=1}^n(y_i-\widehat{y_i})=0\end{array}$$因此，$$\begin{array}{rl}& \sum _{i=1}^n(y_i-\widehat{y_i})(\widehat{y_i}-\bar{y})\\ =& \sum _{i=1}^n\widehat{y_i}(y_i-\widehat{y_i})-\bar{y}\sum _{i=1}^n(y_i-\widehat{y_i})\\ =& \sum _{i=1}^n(k{x}_i+b)(y_i-\widehat{y_i})=0\end{array}$$（参数）线性函数可以使用 $R^2$ 来判断拟合的好坏，其他非线性的函数直接看 $SSE$ 的大小即可。

总结

像拟合这类型的问题，最简便的方法时使用 $Matlab$ 中的拟合工具箱来拟合。里面有许多内置的拟合函数类型，且能计算 $R^2$ 或者 $SSE$，通过输入参数，确定拟合类型即可获得拟合函数。