《数学建模算法与应用》——学习笔记chapter12. 回归分析

简单地说，回归分析就是对拟合问题作的统计分析。
具体地说，回归分析在一组数据的基础上研究这样几个问题：
（i）建立因变量y与自变量x之间的回归模型（经验公式）；
（ii）对回归模型的可信度进行检验；
（iii）判断每个自变量x对y的影响是否显著；
（iv）诊断回归模型是否适合这组数据；
（v）利用回归模型对y进行预报或控制。

1. 数据表的基础知识

1.1 样本空间

样本点×变量类型的数据表：m个样本采样n次得到的数据表$$X=(x_{ij}{)}_{n\times m},i=1,2,\dots ,n;j=1,2,\dots ,m$$样本均值为$$\bar{x}=({\bar{x}}_1,\dots ,{\bar{x}}_m{)}^T,{\bar{x}}_j=\frac{1}{n}\sum _{i=1}^n{x}_{ij}$$样本协方差矩阵及样本相关系数矩阵分别为$$\begin{gathered} C_1=(t_{ij}{)}_{m\times m}=\frac{1}{n}\sum _{k=1}^n(e_k-\bar{x})(e_k-\bar{x}{)}^T \\ {C}_2=(r_{ij}{)}_{m\times m}=\left(\begin{array}{c}\frac{t_{ij}}{\sqrt{t_{ii}{t}_{jj}}}\end{array}\right) \end{gathered}$$其中$$t_{ij}=\frac{1}{n-1}\sum _{k=1}^n(x_{ki}-{\bar{x}}_i)(x_{kj}-{\bar{x}}_j)$$

1.2 数据的标准化处理

（1）数据的中心化处理
$$x_{ij}^{\ast }=x_{ij}-\bar{x}$$
该变换可以使样本的均值变为 0，而这样的变换既不改变样本点间的相互位置，也不改变变量间的相关性。但变换后，却常常有许多技术上的便利。
（2）数据的无量纲化处理
实际问题中，不同变量的测量单位往往是不一样的。为了消除变量的量纲效应，使每个变量都具有同等的表现力，数据分析中常用的消量纲的方法，是对不同的变量进行所谓的压缩处理，即使每个变量的方差均变成1，即$$x_{ij}^{\ast }=x_{ij}/s_j$$其中$$s_j=\sqrt{\frac{1}{n-1}\sum _{i=1}^n(x_{ij}-\bar{x}{)}^2}$$$s_j$也可以换成$$\underset{i}{\max }\{x_{ij}\},\underset{i}{\min }\{x_{ij}\},{\bar{x}}_j,\underset{i}{\max }\{x_{ij}\}-\underset{i}{\min }\{x_{ij}\}$$它们都是无量纲化处理的一种方法。
（3）标准化处理
对数据的标准化处理，是指对数据同时进行中心化－压缩处理，即$$x_{ij}^{\ast }=\frac{x_{ij}-{\bar{x}}_j}{s_j}$$

2. 一元线性回归

2.1 模型

一元线性回归的模型为$$y={\beta }_0+{\beta }_{1}x+\epsilon$$
${\beta }_0,{\beta }_1$为回归系数，$\epsilon$是随机误差项，总是假设$\epsilon \backsim N(0,{\sigma }^2)$，则随机变量$y\backsim N({\beta }_0+{\beta }_{1}x,{\sigma }^2)$。

2.2 最小二乘估计方法

2.2.1 最小二乘法

取${\beta }_0,{\beta }_1$的一组估计值${\hat{\beta }}_0,{\hat{\beta }}_1$，使$\hat{y}与y$的误差平方和达到最小。即$$Q({\hat{\beta }}_0{\hat{\beta }}_1)=\underset{{\beta }_0{\beta }_1}{\min }Q({\beta }_0,{\beta }_1)=\sum _{i=1}^n(y_i-{\beta }_0-{\beta }_{1}x{)}^2$$显然$Q({\beta }_0,{\beta }_1)\ge 0$，且关于${\beta }_0,{\beta }_1$可微，则由多元函数存在极值的必要条件得到的方程组称为正规方程组，解方程组得$$\{\begin{array}{l}{\hat{\beta }}_1=\frac{\sum _{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{\sum _{i=1}^n(x_i-\bar{x}{)}^2}=\frac{s_y}{s_x}{r}_{xy}\\ {\hat{\beta }}_0=\bar{y}-{\hat{\beta }}_1\bar{x}\end{array}$$式中$s_y,s_x$为对应得标准差，$r_{xy}$是 x 与 y 的样本相关系数。
显然，当$x_i,y_i$都是标准化数据时，则有$\bar{x}=0,\bar{y}=0,s_x=1,s_y=1$。所以有${\hat{\beta }}_0=0,{\hat{\beta }}_1=r_{xy}$，回归方程为$\hat{y}=r_{xy}x$。

2.2.2 ${\hat{\beta }}_0,{\hat{\beta }}_1$的性质

1. ${\hat{\beta }}_1$是$y_i$的线性组合，它可以写成$${\hat{\beta }}_1=\sum _{i=1}^n{k}_i{y}_i$$其中$k_i=\frac{x_i-\bar{x}}{\sum _{i=1}^n(x_i-\bar{x}{)}^2}$
2. 因为${\hat{\beta }}_1$是随机变量$y_i$的线性组合，而$y_i$是相互独立、且服从正态分布的，所以，${\hat{\beta }}_1$ 的抽样分布也服从正态分布。
3. 点估计量${\hat{\beta }}_1$是总体参数${\beta }_1$的无偏估计
4. 估计量${\hat{\beta }}_1$的方差为$$Var({\hat{\beta }}_1)=\frac{{\sigma }^2}{\sum _{i=1}^n(x_i-\bar{x}{)}^2}$$
5. 对于总体模型中的参数${\beta }_1$，在它的所有线性无偏估计量中，最小二乘估计量${\hat{\beta }}_1$具有最小的方差。

2.2.3 其它性质

1. 残差和为零。
   残差：$e_i=y_i-{\hat{y}}_i$，则$\sum _{i=1}^n{e}_i=0$
2. 拟合值${\hat{y}}_i$的平均值等于观测值$y_i$的平均值。
3. 当第i次试验的残差以相应的自变量取值为权重时，其加权残差和为零，即$\sum _{i=1}^n{x}_i{e}_i=0$
4. 当第i次试验的残差以相应的因变量的拟合值为权重时，其加权残差和为零，即$\sum _{i=1}^n{\hat{y}}_i{e}_i=0$
5. 最小二乘回归线总是通过观测数据的重心$(\bar{x},\bar{y})$的。

2.3 拟合效果分析

回归方程的质量如何？误差多大？对这些，都必须予以正确的评估和分析。

2.3.1 残差的样本方差

残差：$e_i=y_i-{\hat{y}}_i$
残差的样本均值：$\bar{e}=\frac{1}{n}\sum _{i=1}^n(y_i-{\hat{y}}_i)=0$
残差的样本方差为：$MSE=\frac{1}{n-2}\sum _{i=1}^n(e_i-\bar{e}{)}^2=\frac{1}{n-2}\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2$
记$S_e=\sqrt{MSE}$
一个好的拟合方程，其残差总和应越小越好。残差越小，拟合值与观测值越接近，各观测点在拟合直线周围聚集的紧密程度越高，也就是说，拟合方程解释y的能力越强。

2.3.2 判定系数（拟合优度）

$y_i$的变异程度可以用方差来测度，同样${\hat{y}}_i$也能用方差。
记$$\begin{array}{rl}SST& =\sum _{i=1}^n(y_i-\bar{y}{)}^2，自由度为n-1\\ SSR& =\sum _{i=1}^n({\hat{y}}_i-\bar{y}{)}^2，自由度为1\\ SSE& =\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2，自由度为n-2\end{array}$$有$SST=SSR+SSE,d{f}_T=d{f}_r+d{f}_e,df$表示对应下表的自由度。

对于一个确定的样本（一组实现的观测值），SST是一个定值。所以，可解释变异SSR越大，则必然有残差SSE越小：
（1）SSR越大，用回归方程来解释$y_i$变异的部分越大，回归方程对原数据解释得越好；
（2）SSE越小，观测值$y_i$绕回归直线越紧密，回归方程对原数据的拟合效果越好。

定义判定系数（拟合优度）：$$R^2=\frac{SSR}{SST}=1-\frac{SSE}{SST}$$$R^2=r^2(y,\hat{y})$ 有以下简单性质：
（1）$0\le R^2\le 1$；
（2）当$R^2=1$时，有$SSR=SST$，也就是说，此时原数据的总变异完全可以由拟合值的变异来解释，并且残差为零（ SSE = 0 ），即拟合点与原数据完全吻合；
（3）当$R^2=0$时，回归方程完全不能解释原数据的总变异，y的变异完全由与x无关的因素引起，这时 $SSE=SST$
（4）$R^2$又等于$y$与拟合变量$\hat{y}$的相关系数平方。$\sqrt{R^2}$等于 $y$ 与自变量 $x$ 的相关系数，而相关系数的正、负号与回归系数${\hat{\beta }}_1$的符号相同。

2.4 显著性检验

2.4.1 回归模型的线性关系检验

在拟合回归方程之前，我们曾假设数据总体是符合线性正态误差模型的，这种假设是否真实，还需进行检验。假设 y 与 x 之间存在线性关系，则总体模型为$$y_i={\beta }_0+{\beta }_1{x}_i+{ϵ}_i$$如果${\beta }_1\ne 0$，则称这个模型为全模型，其误差平方和为SSE。现假设$H_0:{\beta }_1=0$，如果$H_0$成立，则$$y_i={\beta }_0+{ϵ}_i$$称为选模型，其误差平方和为SST。用最小二乘法拟合这个模型，则有$$\begin{gathered} {\hat{\beta }}_1=0 \\ {\beta }_0=\bar{y}-{\hat{\beta }}_1\bar{x}=\bar{y} \end{gathered}$$即${\hat{y}}_i\equiv \bar{y}$，则有$SSE\le SST$,全模型的误差总是小于（或等于）选模型的误差的。其原因是在全模型中有较多的参数，可以更好地拟合数据。

为了检验是否可以用 x 的线性方程式来解释 y ，可以进行下面的统计检验：
F检验：$H_0:{\beta }_1=0,H_1:{\beta }_1\ne 0$
$$F=\frac{MSR}{MSE}=\frac{SSR/d{f}_R}{SSE/d{f}_E}\backsim F(1,n-2)$$
若$F\le F_{\alpha }(1,n-2)$ ，则接受 $H_0$ 假设，这时认为${\beta }_1$显著为零，无法用x的线性关系式来解释y。
若$F>F_{\alpha }(1,n-2)$，则否定 $H_0$ ，接受$H_1$。这时认为${\beta }_1$显著不为零，可以用x的线性关系来解释y。习惯上说，线性回归方程的F检验通过了。

回归方程的假设检验包括两个方面：一个是对模型的检验，即检验自变量与因变量之间的关系能否用一个线性模型来表示，这是由F检验来完成的；另一个检验是关于回归参数的检验，即当模型检验通过后，还要具体检验每一个自变量对因变量的影响程度是否显著。这就是下面要讨论的t检验。

2.4.2 回归系数的显著性检验

回归参数的检验是考察每一个自变量对因变量的影响是否显著。换句话说，就是要检验每一个总体参数是否显著不为零。
$$\frac{{\hat{\beta }}_1-{\beta }_1}{S({\hat{\beta }}_1)}\backsim t(n-2)$$t检验：$H_0:{\beta }_1=0,H_1:{\beta }_1\ne 0$
$$t_1=\frac{{\hat{\beta }}_1}{S({\hat{\beta }}_1)}$$若$|t_1|\le t_{\frac{\alpha }{2}}(n-2)$，则接受$H_0$，认为${\beta }_1$显著为零；
若$|t_1|>t_{\frac{\alpha }{2}}(n-2)$，则拒绝$H_0$，认为${\beta }_1$显著不为零。
当拒绝了$H_0$ ，认为${\beta }_1$显著不为零时，又称${\beta }_1$通过了t 检验。
${\beta }_1$的置信度为$1-\alpha$的置信区间为$${\hat{\beta }}_1-t_{\frac{\alpha }{2}}(n-2)S({\hat{\beta }}_1)\le {\beta }_1\le {\hat{\beta }}_1+t_{\frac{\alpha }{2}}(n-2)S({\hat{\beta }}_1)$$同样的：$$\frac{{\hat{\beta }}_0-{\beta }_0}{S({\hat{\beta }}_0)}\backsim t(n-2)$$t检验：$H_0:{\beta }_0=0,H_1:{\beta }_0\ne 0$$$t_0=\frac{{\hat{\beta }}_0}{S({\hat{\beta }}_0)}$$若$|t_0|\le t_{\frac{\alpha }{2}}(n-2)$，则接受$H_0$，认为${\beta }_0$显著为零；
若$|t_0|>t_{\frac{\alpha }{2}}(n-2)$，则拒绝$H_0$，认为${\beta }_0$显著不为零。
${\beta }_1$的置信度为$1-\alpha$的置信区间为$${\hat{\beta }}_0-t_{\frac{\alpha }{2}}(n-2)S({\hat{\beta }}_0)\le {\beta }_0\le {\hat{\beta }}_0+t_{\frac{\alpha }{2}}(n-2)S({\hat{\beta }}_0)$$

3. 多元线性回归

3.1 模型

模型为：$$\{\begin{array}{l}y={\beta }_0+{\beta }_1{x}_1+\dots +{\beta }_m{x}_m+ϵ\\ ϵ\backsim N(0,{\sigma }^2)\end{array}$$记$$\begin{gathered} X=\left[\begin{array}{ccccc}1& x_{11}& \dots & x_{1m}& \\ ⋮& ⋮& \dots & ⋮& \\ 1& x_{n1}& \dots & x_{nm}& \end{array}\right],Y=\left[\begin{array}{c}{y}_1\\ ⋮\\ y_n\end{array}\right] \\ ϵ={\left[\begin{array}{ccc}{ϵ}_1& \dots & {ϵ}_n\end{array}\right]}^T,\beta ={\left[\begin{array}{cccc}{\beta }_0& {\beta }_1& \dots & {\beta }_m\end{array}\right]}^T \end{gathered}$$
则模型可表示为：$$\{\begin{array}{l}Y=X\beta +ϵ\\ ϵ\backsim N(0,{\sigma }^2{E}_n)\end{array}$$其中，$E_n$为n阶单位阵。

3.2 参数估计

仍用最小二乘法估计，估计值为${\hat{\beta }}_j$，使当${\beta }_j={\hat{\beta }}_j$，误差平方和最小。由偏导数为0得正规方程组$$X^{T}X\beta =X^{T}Y$$$X$为满秩矩阵时解得${\hat{\beta }}_j=(X^{T}X{)}^{-1}{X}^{T}Y$，将${\hat{\beta }}_j$代回原模型得到 y 的估计值$\hat{y}$，拟合误差$e=Y-\hat{Y}$称为残差，作为随机误差$ϵ$的估计，而$Q=\sum _{i=1}^n{e}_i^2$称为残差平方和。

3.3 统计分析

不加证明地给出以下结果：
（i）$\hat{\beta }$是$\beta$的线性无偏最小方差估计。指的是$\hat{\beta }$是$Y$的线性函数；$\hat{\beta }$的期望等于$\beta$；在β的线性无偏估计中，$\hat{\beta }$的方差最小。
（ii）$\hat{\beta }$服从正态分布$$\hat{\beta }\backsim N(\beta ,{\sigma }^2(X^{T}X{)}^{-1})$$记$(X^{T}X{)}^{-1}=(c_{ij}{)}_{n\times n}$
（iii）对残差平方和$Q$，$EQ=(n-m-1){\sigma }^2$，且$\frac{Q}{{\sigma }^2}\backsim {\chi }^2(n-m-1)$
由此得到${\sigma }^2$的无偏估计$s^2=\frac{Q}{n-m-1}，$称$s^2$剩余方差（残差的方差），$s$称为剩余标准差。
（iv）对总平方和SST进行分解，有SST=Q+U， Q是残差平方和(SSE)，U称为回归平方和(SSR)。

3.4 回归模型的假设检验

线性关系是否存在是需要检验的：$$\begin{gathered} H_0:{\beta }_j=0 \\ F=\frac{U/m}{Q/(n-m-1)}\backsim F(m,n-m-1) \end{gathered}$$在显著性水平$\alpha$下有上$\alpha$分位数$F_{\alpha }(m,n-m-1)$，若$F<F_{\alpha }(m,n-m-1)$，接受H0 ；否则，拒绝。

一些其他衡量y与x是否相关的指标：
复判断系数$R^2=\frac{U}{SST}$，
复相关系数$R=\sqrt{R^2}$，通常， R 大于0.8（或0.9）才认为相关关系成立。

3.5 回归系数的假设检验和区间估计

当上面的$H_0$被拒绝时，${\beta }_j$不全为零，但是不排除其中若干个等于零。所以应进一步作如下m +1个检验：$$\begin{gathered} H_0^{(j)}:{\beta }_j=0 \\ {t}_j=\frac{{\hat{\beta }}_j/\sqrt{c_{jj}}}{\sqrt{Q/(n-m-1)}}=t(n-m-1) \end{gathered}$$若$|t_j|<t_{\frac{\alpha }{2}}(n-m-1)$，接受$H_0^{(j)}$；否则，拒绝。
${\beta }_j$的置信度为$1-\alpha$的置信区间为$${\hat{\beta }}_j-t_{\frac{\alpha }{2}}(n-m-1)S\sqrt{c_{jj}}\le {\beta }_j\le {\hat{\beta }}_j+t_{\frac{\alpha }{2}}(n-m-1)S\sqrt{c_{jj}}$$其中$s=\sqrt{\frac{Q}{(n-m-1)}}$

3.6 利用回归模型进行预测

给定$\alpha$可以算出$y_0$的预测区间（区间估计），结果较复杂，但当n较大且$x_{0i}$接近平均值${\bar{x}}_i$时，$y_0$的预测区间可简化为$$[{\hat{y}}_0-z_{\frac{\alpha }{2}}s,{\hat{y}}_0+z_{\frac{\alpha }{2}}s]$$$y_0$的区间估计方法可用于给出已知数据残差$e_i$的置信区间，残差服从均值为零的正态分布，所以若某个残差的置信区间不包含零点，则认为这个数据是异常的，可予以剔除。

4. Matlab 中的回归分析

4.1 多元线性回归

$b=regress(Y,X)$，b为回归系数估计值${\hat{\beta }}_i$；
$[b,bint,r,rint,stats]=regress(Y,X,alpha)$，alpha为显著性水平（缺省时设定为0.05），b,bint为回归系数估计值和它们的置信区间，r,rint 为残差（向量）及其置信区间，stats 是用于检验回归模型的统计量，有四个数值，第一个是$R^2$，第二个是 F ，第三个是与F对应的概率p，p<α拒绝H0，回归模型成立，第四个是残差的方差$s^2$。

残差及其置信区间可以用 rcoplot(r,rint)画图。

4.2 多项式回归

从数据的散点图上发现y与x呈较明显的二次（或高次）函数关系，或者用线性模型的效果不太好，就可以选用多项式回归。

4.2.1 一元多项式回归

一元多项式回归可用命令polyfit实现，详情可在matlab中实验help polyfit命令。

4.2.2 多元二项式回归

rstool(x,y,model,alpha)，详情可在matlab中实验help rstool命令

5. 偏相关系数

研究多个变量之间的线性相关程度时，单纯使用两两变量的简单相关系数常具有虚假性。因为简单相关系数只考虑了两个变量之间的相互作用，而没有考虑其它变量对这两个变量的影响。为了更准确、真实地反映变量之间的相关关系，统计学中定义了偏相关系数（又称净相关系数）

5.1 偏相关系数的定义

考虑下面两个回归模型：$$\begin{gathered} y_i=c_0+c_2{x}_{i2}+\dots +c_m{x}_{im}+{ϵ}_i^{\prime } \\ {x}_{i1}=d_0+d_2{x}_{i2}+\dots +d_m{x}_{im}+{ϵ}_i^{\prime \prime } \end{gathered}$$可分别求得其残差向量$u,v$，求这两个向量的简单相关系数称为偏相关系数。

5.2 偏相关系数的检验

6. 变量筛选方法

在确定自变量系统时，一是采用穷举法，列举出所有可能的潜在自变量；再根据自变量的不同组合，选取最合适的模型。由于每个变量都有可能被选用或不被选用，所以，穷举法要拟合与比较的方程个数为$2^m$（m为潜在自变量的个数）。当备选的潜在自变量数目很大时，则采用穷举方法就完全不现实了。下面我们介绍一些有效的变量筛选方法。

6.1 偏F检验

决定一个新的变量是否有必要进入模型，或者判断某个变量是否可以从模型中删除时，我们首先要问的问题是：这个变量能否对y提供显著的附加解释信息？回答这个问题的方法是采用偏F检验。

m 个自变量拟合的模型称为全模型，减去一个自变量，m −1个自变量拟合模型称为减模型，全模型的复判定系数为$R^2$，减模型的复判定系数记为$R_j^2$。定义$\Delta R_j^2=R^2-R_j^2$，若$\Delta R_j^2$几乎为零，说明增加$x_j$，对y的解释能力没有显著提高；否则，若$\Delta R_j^2$显著不为零，则$x_j$就可以为回归模型提供显著的解释信息。

6.2 向前选择变量法

起始时，模型中没有任何变量。然后分别考虑y与每一个自变量的一元线性回归模型。
对所有的这m个模型进行F检验，选择F值最高者作为第一个进入模型的自变量。
然后，对剩下的m−1个变量分别进行偏F检验（即以y与$x_{i_1}$的模型为减模型，以y与$x_{i_1}$以及另一个自变量$x_j$的模型为全模型）。如果至少有一个$x_i$通过了偏F检验，则在所有通过偏F检验的变量中，选择$F_j$值最大者作为第二个被选的自变量，进入模型（记为$x_{i_2}$）。

继续上述步骤，直到在模型之外的自变量均不能通过偏F检验，则算法终止。

6.3 向后删除变量法

在算法的起步，所有的自变量都被包含在模型之中（这是起始的全模型）。
然后，依次对每一个自变量做偏F检验（以去掉变量$x_j$的模型为减模型）。
如果所有的自变量都通过了偏F检验，则计算停止，所有自变量被包含在模型中。如果有若干自变量未能通过偏F检验，则选择出$F_j$值最小的自变量，将它从模型中删除。对剩下的(m −1) 个自变量拟合一个全模型。
然后，重新对每一个模型中的自变量进行偏F检验。在没有通过检验的自变量中，选择$F_j$值最小者，将它从模型中删除。

重复以上步骤，直到模型中包含的所有自变量都能通过偏 F 检验，则算法终止。

6.4 逐步回归

逐步回归法是向前选择变量法和向后删除变量法的一种结合。
首先，求y与每一个$x_i$的一元线性回归方程，选择F值最大的变量进入模型。
然后，对剩下的m−1个模型外的变量进行偏F检验（设定$x_{i_1}$已在模型中），在若干通过偏F检验的变量中，选择$F_j$值最大者进入模型。
再对模型外的m−2个自变量做偏F检验。在通过偏F检验的变量中选择$F_j$值最大者进入模型。接着对模型中的三个自变量分别进行偏F检验，如果三个自变量都通过了偏F检验，则接着选择第四个变量。但如果有某一个变量没有通过偏 F 检验，则将其从模型中删除。
重复上述步骤，直到所有模型外的变量都不能通过偏F检验，则算法终止。为了避免变量的进出循环，一般取偏F检验拒绝域的临界值为$F_{进}>F_{出}$，式中， $F_{进}$ 为选入变量时的临界值；$F_{出}$为删除变量时的临界值。$F_{进}$和$F_{出}$的检验水平值可以自定，也可以是备择的。常见的检验水平值为${\alpha }_{进}=0.05，{\alpha }_{出}=0.1$。

7. 复共线性与有偏估计方法

有时某些回归系数的估计值的绝对值差异较大，有时回归系数的估计值的符号与问题的实际意义相违背等。研究结果表明，产生这些问题的原因之一是回归自变量之间存在着近似线性关系，称为复共线性（Multicollinearity）。

7.1 复共线性

数据标准化后，回归模型中常数项为零。不失一般性，我们研究以下回归模型。标准化数据之后有

7.2 岭估计

岭回归（Ridge Regression）方法可以显著改善设计矩阵列复共线性时最小二乘估计量的均方误差，增强估计的稳定性。这个方法在计算数学称为阻尼最小二乘。

下面是几种岭参数选择的方法。

7.3 主成分估计

主成分回归的理论见chapter.26

8. 非线性回归

Matlab统计工具箱中的nlinfit，nlparci，nlpredci，nlintool，不仅给出拟合的回归系数，而且可以给出它的置信区间，及预测值和置信区间等。