mumuisapig

前言：插值算法与拟合算法的思想比较接近。两者的区别：拟合问题中不需要曲线一定经过给定的点，拟合问题的目标在于寻求一个函数（曲线），使得该曲线在某种准则下与所有的数据点最为接近，即曲线拟合的最好（也叫做最小化损失函数）。

在插值算法中，得到的多项式$f(x)$必须经过每一个已知点，如果样本点太多会造成插值多项式太复杂，产生龙格现象。即使使用分段插值的方法固然可以避免龙格现象，但是这样一来为了经过每一个点，多项式的解析式必定十分复杂。但是更多时候，我们更倾向于得到一个确定简洁的曲线（用数学的思维去衡量现实世界，解决问题），尽管这条曲线不能经过所有的样本点，但只要保证误差足够小即可（拟合的思想）。拟合的结果是得到一个确定的曲线.
【例子】

曲线拟合的线性最小二乘法

以$y=kx+b$为例

1. 几何解释：

   设我们拟合的样本点为$(x_i,y_i),i=1,2,\cdots ,n$我们设置的拟合曲线为$y=kx+b$。问：k和b取何值，样本点与拟合曲线最为接近？

• 第一种定义：
  $\begin{array}{r}{\hat{y}}_i=k{x}_i+b\\ {\hat{k}}_i,{\hat{b}}_i=argmi{n}_{k,b}(\sum _{i=1}^n|y_i-{\hat{y}}_i|)\end{array}$
• 第二种定义：
  $\begin{array}{r}{\hat{y}}_i=k{x}_i+b\\ {\hat{k}}_i,{\hat{b}}_i=argmi{n}_{k,b}(\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2)\end{array}$
• 第一种定义有绝对值，不容易求导，因此计算比较复杂。我们往往使用第二种定义，这也正是最小二乘法的思想。

【注】

• 为什么不用四次方？
  （1）避免极端数据对拟合曲线的影响，极端数据对于四次方来说，影响大。
  （2）最小二乘法得到的结果和MLE极大似然估计一致。
  （3）四次方的计算更加复杂。
• 为什么不用奇次方？
  误差会正负相抵

2. 推导过程：

   令拟合值${\hat{y}}_i=k{x}_i+b$，那么$\hat{k},\hat{b}=argmi{n}_{k,b}({\sum }_{i=1}^n(y_i-k{x}_i-b{)}^2)$，令$L={\sum }_{i=1}^n(y_i-k{x}_i-b{)}^2$，先要找出k,b使得L最小。（L在机器学习中被称为损失函数，在回归中也常被称为残差平方和）
   求导：
   $$\{\begin{array}{c}\frac{\partial L}{\partial k}=-2{\sum }_{i=1}^n{x}_i(y_i-k{x}_i-b)=0\\ \frac{\partial L}{\partial b}=-2{\sum }_{i=1}^n(y_i-k{x}_i-b)=0\end{array}\Rightarrow \{\begin{array}{c}{\sum }_{i=1}^n{x}_i{y}_i=k{\sum }_{i=1}^n{x}_i^2+b{\sum }_{i=1}^n{x}_i\\ {\sum }_{i=1}^n{y}_i=k{\sum }_{i=1}^n{x}_i+bn\end{array}$$
   $$\hat{k}=\frac{n{\sum }_{i=1}^n{x}_i{y}_i-{\sum }_{i=1}^n{y}_i{\sum }_{i=1}^n{x}_i}{n{\sum }_{i=1}^n{x}_i^2-{\sum }_{i=1}^n{x}_i{\sum }_{i=1}^n{x}_i},\hat{b}=\frac{{\sum }_{i=1}^n{x}_i^2{\sum }_{i=1}^n{y}_i-{\sum }_{i=1}^n{x}_i{\sum }_{i=1}^n{x}_i{y}_i}{n{\sum }_{i=1}^n{x}_i^2-{\sum }_{i=1}^n{x}_i{\sum }_{i=1}^n{x}_i}$$

3. 如何评价拟合的好坏？

   拟合优度$R^2$

• 总体平方和SST：$SST={\sum }_{i=1}^n(y_i-\bar{y}{)}^2$
• 误差平方和SSE：$SSE={\sum }_{i=1}^n(y_i-{\hat{y}}_i{)}^2$
• 回归平方和SSR：$SSR={\sum }_{i=1}^n({\hat{y}}_i-\bar{y}{)}^2$

可以证明：$SST=SSE+SSR$ 要用到我们求导的两个等式
具体证明略。
拟合优度：$$0\le R^2=\frac{SSR}{SST}=\frac{SST-SSE}{SST}=1-\frac{SSE}{SST}\le 1$$，$R^2$越接近于1，说明误差平方和越小，拟合的越好。
【注】$R^2$只能用于当拟合函数是“线性函数”时拟合结果的评价！
我们这里说的线性函数是指对于参数是线性的！
线性模型中的“线性”主要有两种形式：对变量为线性或者是对参数为线性。
什么叫线性于参数的函数？
在函数中，参数仅以一次方的形式出现，且不能乘以或除以其他任何的参数，并不能出现参数的复合形式的情况。
$$y=a_1{r}_1(x)+a_2{r}_2(x)+\cdots +a_m{r}_m(x),\left\{r_1(x),r_2(x),\cdots ,r_m(x)\right\}线性无关，不是两两线性无关$$
【例子】

• $Y={\beta }_1+{\beta }_{2}X+{\beta }_3{X}^2$：是线性于函数，线性于参数。

• $Y=e^{{\beta }_1+{\beta }_{2}X}$：是线性函数，线性于参数（两边同时取对数）。

• $y=a+b^{3}x$：并非线性于参数，不可以用$R^2$。

• $y=a(x-b{)}^2$：并非线性与参数，不能用$R^2$

  【衡量取舍】
  一般来说，拟合函数的次数越高，越复杂，拟合的误差平方和越小（拟合优度也 越好），但是另一方面，我们又追求拟合函数的间简洁性，且次数越高，龙格现象越严重，所以不能一味的追求误差平方和的减少，要综合两方面考虑，选出最优的拟合方案。

4. 使用matlab的拟合工具箱cftcool
   强大的matlab拟合工具箱：可以自定义拟合函数或者使用指数，多项式，傅里叶等函数进行拟合

• 关于如何产生模拟数据？
  （1）randi:产生均匀分布的随机整数。

  %产生一个1至10之间的随机矩阵，大小为25
  s1=randi(10,2,5);
  disp(s1)
  %产生一个-5到5之间的随机矩阵，大小为110
  s2=randi([-5,5],1,10);
  disp(s2)

（2）rand：产生均匀分布的整数。

%产生一个0至1之间的随机矩阵，大小为15
s3=rand(1,5);
s3
%产生一个a至b之间的随机矩阵，大小为15
%a+(b-a)*rand(1,5)
s4=2+(5-2)*rand(1,5);
s4

(3)normrnd：产生正态分布的随机数

%产生一个均值为0，标准差为2的正态分布的随机矩阵,大小为3*4
s5=normrnd(0,2,3,4)

(4)roundn：任意位置四舍五入
Round to multiple of $10^n$

a=3.1415;
roundn(a,-2)%3.1400
roundn(a,2)%0
b=31415;
roundn(b,2)%31400

最小二乘优化

在无约束最优化问题中，有些重要的情形，比如目标函数由若干个函数的平方和构成，这类函数一般可以写成$$F(x)=\sum _{i=1}^m{f}_i^2(x),x\in R^n$$式中：$x=[x_1,\cdots ,x_n{]}^T$，一般假设$m\ge n$。
我们把极小化这类函数的问题$$minF(x)=\sum _{i=1}^m{f}_i^2(x)$$称为最小二乘法优化问题。
最小二乘优化是一类比较特殊的优化问题，Matlab中也提供了强大的函数，主要有：lsqlin,lsqcurvefit,lsqnonlin,lsqnonneg等。

1. lsqlin函数
   用于求解$mi{n}_x\frac{1}{2}||C\cdot x-d|{|}^2$
   $$s.t.\{\begin{array}{c}A\dot{x}\le b,\\ Aeq\dot{x}=beq,\\ lb\le x\le ub\end{array}$$式中：C，A,Aeq为矩阵；d，b，beq，lb，ub，x为向量。
   函数形式：$$x=lsqlin(C,d,A,b,Aeq,beq,lb,ub,x_0)$$
   【例子】用最小二乘法求一个形如$y=a+b{x}^2$的经验公式，使它与表中所列数据拟合。

   x	19	25	31	38	41
   y	19.0	32.3	49.0	73.3	97.8

   $({\hat{y}}_i-y_i{)}^2=(a+b{x}_i^2-y_i{)}^2$
   $令X=[a,b],C=[ones(size(X)),X]$
   编写程序如下：

x=[19 25 31 38 44]';
y=[19.0 32.3 49.0 73.3 97.8]';
r=[ones(5,1),x.^2];
ab=lsqlin(r,y);
ab
x0=19:0.1:44;
y0=@(x)ab(2)*x.^2+ab(1);%y0=0.05*x.^2+0.9726
plot(x,y,'ro',x0,y0(x0),'b-')

2. lsqcurvefit函数
给定输入输出数列xdata,ydata（也就是已知点的横坐标和纵坐标），求参量x，使得：$$mi{n}_x||F(x,xdata)-ydata|{|}_2^2=\sum _{i=1}^n(F(x,xdat{a}_i)-ydat{a}_i{)}^2$$Matlab中的函数为：x=lsqcurvefit(fun,x0,xdata,ydata,lb,ub,options)
x0是拟合参数的初始值。
【例子】用最小二乘法拟合$y=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$中的未知参数$\mu ,\sigma$，其中自己模拟产生已知数据点$x_i,y_i,(i=1,2,\cdots ,n)$分别放在Matlab数据文件data3.mat中的x0,y0中。
（1）产生data3.mat文件。

x0=-10:0.1:10;
y0=normpdf(x0,0,1);%计算标准正态分布mu=0,sigma=1的概率密度函数在x0处的值
save data3 x0 y0%把x0,y0保存到文件data3.mat中

（2）拟合参数

x0=-10:0.1:10;
y0=normpdf(x0,0,1);%计算标准正态分布mu=0,sigma=1的概率密度函数在x0处的值
save data3 x0 y0%把x0,y0保存到文件data3.mat中

clc,clear
load data3
mf=@(cs,xdata)1/sqrt(2*pi)/cs(2)*exp(-(xdata-cs(1)).^2/2/cs(2).^2);
yc=mf([2,1],2)%测试一下，yc=0.3989
cs=lsqcurvefit(mf,rand(2,1),x0,y0)%拟合参数的初始值是任意取的cs=[0,1]

3. lsqnonlin函数
   已知函数向量$F(x)=[f_1(x),\cdots ,f_k(x){]}^T$，求x使得$mi{n}_x||F(x)|{|}_2^2$，Matlab中的函数为：x=lsqnonlin(fun,x0,lb,ub,options)
   其中：fun是定义向量函数$F(x)$的M文件；x0是拟合参数x的初始值，可以任意取。
   【正态分布的例子】
   这里$F(x)$去做误差向量，$x=[\mu ,\sigma {]}^T$为要拟合的参数向量

clc,clear
load data3
F=@(cs)1/sqrt(2*pi)/cs(2)*exp(-(x0-cs(1)).^2/2/cs(2).^2)-y0;
cs0=rand(2,1);
cs=lsqnonlin(F,cs0)%cs=[0,1]

4. lsqnonneg函数
   求解非负的参数x，使得$$mi{n}_x||Cx-d|{|}_2^2$$Matlab中的函数为：x=lsqnonneg(C,d,options)
   使用方法同lsqlin函数。
5. 使用Matlab工具箱cftool