数学建模——对2017年国赛C题论文的学习

2017年C题论文总结

思想和算法

回归分析

简单地说，回归分析就是对拟合问题做的统计分析。

我们根据一个样本算出的那些系数，只是它们的一个（点）估计，应该对它们作区间估计或假设检验，如果置信区间太大，甚至包含了零点，那么系数的估计值是没有多大意义的。另外也可以用方差分析方法对模型的误差进行分析，对拟合的优劣给出评价。

• 建立因变量与自变量之间的回归模型（因变量）;
• 进行可信度检验;
• 判断自变量对因变量的影响是否显著;
• 回归模型是否适合这组数据；
• 利用回归模型对因变量进行预报或控制。

数据表的基础知识

1. 样本

   涉及的是样本点$\times$变量类型的数据表，对$m$个变量分别进行$n$次采样，得到$n$个样本点,所构成的数据表如下：
   $$\begin{array}{rl}& X=(x_{ij}{)}_{n\times m}=\left[\begin{array}{c}{e}_1^T\\ e_2^T\\ ⋮\\ e_m^T\end{array}\right]\\ & e_i={\left[\begin{array}{c}{x}_{i1},x_{i2},x_{i3},\cdots ,x_{in}\end{array}\right]}^T\\ meanvalue:& \\ & \overline{x}=(\overline{x_1},\overline{x_2},\overline{x_3},\cdots ,\overline{x_n}{)}^T\\ covariance:& \\ & C_1=(t_{ij}{)}_{m\times m}=\frac{a}{n-1}\sum _{i=1}^n(e_k-\overline{x})(e_k-\overline{x})\\ correlationmartrix:& \\ & C_2=(r_{ij}{)}_{m\times m}=(\frac{t_{ij}}{\sqrt{t_{ii}{t}_{jj}}})\\ & t_{ij}=\frac{1}{n-1}\sum _{k=1}n(x_{ki}-\overline{x_i})(x_{kj}-\overline{x_j})\end{array}\text{\hspace{1em}(1)(2)(3)(3)(4)(5)}$$

   可以将e看作各变量样本点集，所有矩阵均以列向量的形式出现或复合而成。

   • 协方差$(Covariance,COV)$：

     协方差用于衡量两个变量的总体误差，方差是协方差的一种特殊情况，即当两个变量是相同的情况

     由CSDN中有
     $$\begin{gathered} cov(X,Y)>0\to X\propto Y \\ cov(X,Y)<0\to Y\propto X \\ cov(X,Y)=0\to X/\propto Y \end{gathered}$$
     协方差为0，两个随机变量不一定相互独立，而两个随机变量相互独立，协方差一定为0。协方差为0，只能表示他们之间不存在线性关系。

     So this means that Covariance can show the correlation between two variables.

2. 数据的标准化处理

   • 数据的中心化处理

     是指平移变换$i_{ij}^{\ast }=x_{ij}-\overline{x_j}$

   • 数据的无量纲化处理

     对不同的变量进行压缩处理$x_{ij}^{\ast }=x_{ij}/s_j$

     其中：$s_j=\sqrt{\frac{1}{n-1}{\sum }_{i=1}^n(x_{ij}-\overline{x_j}{)}^2}$

     解释：每一列是不同样本点的同一变量类型，用当前值减去当前列的平均值求平方和的平均值，求得当前列的方差。换句话说，求的是多次采样的某属性的标准差

   • 标准化处理

   • 对数据同时进行中心化—压缩处理：

     $x_{ij}^{\ast }=\frac{x_{ij}-\overline{x_j}}{s_j},i=1,2,\cdots ,n,j=1,2,\cdots ,m.$

线性回归方程

• 一元线性回归
  $$y={\beta }_0{x}^0+{\beta }_1{x}^1+\epsilon \text{\hspace{1em}(6)}$$

  说明：${\beta }_0,{\beta }_1$ 是回归系数， $\epsilon$ 是随机误差项，可假设 $\epsilon \sim N(0,{\sigma }^2)$ 那么随机变量$y\sim N({\beta }_0+{\beta }_{1}x,{\sigma }^2)$

  用最小二乘法估计${\beta }_0$，${\beta }_1$的值，即取${\beta }_0,{\beta }_1$的一组估计值使$y_i$与$\widehat{y_i}$的误差(error)平方和达到最小

  $$\begin{array}{rl}& Q(\widehat{{\beta }_0},\widehat{{\beta }_1})=\underset{{\beta }_0,{\beta }_1}{\min }Q({\beta }_0,{\beta }_1)=\sum _{i=1}^n(y_i-\widehat{{\beta }_0}-\widehat{{\beta }_i}{x}_i{)}^2\\ & \{\begin{array}{l}\widehat{{\beta }_1}=\frac{\sum _{i=1}^n(x_i-\overline{x})(y_i-\overline{y})}{\sum _{i=1}^n(x_i-\overline{x}{)}^2}\\ \widehat{{\beta }_0}=\overline{y}-\widehat{{\beta }_1}\overline{x}\end{array}\end{array}\text{\hspace{1em}(7)(8)}$$

  对标准化数据, $\widehat{{\beta }_1}$可以表示$y$与$x$的相关程度。$s_y$ ，$s_x$分别是$y$，$x$的标准差， $r_{xy}$是x，y的相关系数
  $${\beta }_1=\frac{\sqrt{\sum _{i=1}^n(y_i-\overline{y}{)}^2}}{\sqrt{\sum _{i=1}^n(x_i-\overline{x}{)}^2}}\cdot \frac{\sum _{i=1}^n(x_i-\overline{x})(y_i-\overline{y})}{\sqrt{\sum _{i=1}^n(x_i-\overline{x}{)}^2}\sqrt{\sum _{i=1}^n(y_i-\overline{y})}}=\frac{s_y}{s_x}{r}_{xy}$$

  • 注意事项：

    必须对回归方程的质量，误差进行正确的评估和分析；

  • 拟合效果分析

    1. 残差$e_i=y_i-\widehat{y_i}$

       • 残差的样本均值为0，样本方差MSE。(Q1：残差总和不应该为0吗？)

       • 好的拟合方程，其残差总和($\sum _{i=1}^n{e}_i$)应越小越好。

         $S_e=\sqrt{MSE}=\sqrt{\frac{1}{n-2}\sum _{i=1}^n{e}_i^2}$

         因为残差的样本均值为零，离散范围越小，拟合的模型就越精确

    2. 判定系数（拟合优度）$R^2$

       • 原始数据的总变异平方和与自由度:
         $$SST=\sum _{i=1}^n(y_i-\overline{y}{)}^2，d{f}_T=n-1$$

    • 拟合直线可解释的变异平方和与自由度：
      $$SSR=\sum _{i=1}^n(\widehat{y_i}-\overline{y}{)}^2,d{f}_R=1$$

      • 残差平方和与自由度：

      $$SSE=\sum _{i=1}^n(y_i-\widehat{y_i}{)}^2,d{f}_E=n-2$$

      • $SST=SSR+SSE,d{f}_T=d{f}_R+d{f}_E$

      判定系数$R^2=\frac{SSR}{SST}=(1-\frac{SSE}{SST})$

  • 显著性检验

    从逻辑上说，一般先进行F检验，通过后再进一步进行t检验

    • 回归系数的显著性检验

多元线性回归

多元线性回归分析的模型为：
$$\{\begin{array}{l}y={\beta }_0+{\beta }_1{x}_1+\cdots +{\beta }_m{x}_m+\epsilon \\ \epsilon \sim N(0,{\sigma }^2)\end{array}$$
求解过程十分复杂，交给matlab即可

以下内容，n是样本容量，m是元的个数

• 回归模型的假设检验：
  KaTeX parse error: Expected 'EOF', got '&' at position 2: &̲Q=\sum\limits_{…
  在显著性水平$\alpha$下有上$\alpha$分位数$F_{\alpha }(m,n-m-1)$若$F<F_{\alpha }(m,n-m-1)$接受$H_0$,否则拒绝

  R越大y与元相关关系越密切，R大于0.8或0.9才认为相关关系成立

• 回归系数的假设检验和区间估计

代码说明：

多元线性回归

Matlab统计工具箱用命令regress实现多元线性回归，用的方法是最小二乘法

b=regress(Y,X)
[b,bint,r,rint,stats]=regress(Y,X,alpha)
%alpha为显著性水平(缺省时设定为0.05).
%b,bin为回归系数估计值和它们的指向区间.
%r,rint为残差(向量)及置信区间，stats是用于检验回归模型的统计量.

残差及其置信区间可以用 rcoplot(r,rint) 画图

多项式回归

• 一元多项式回归polyfit
• 多元二项式回归rstool

偏相关系数

如果有因变量$y$和自变量$x_1,x_2,\cdots ,x_m$，确定$y$与$x_1$的偏相关系数的一个直接的想法时在除掉$x_2,x_3,\cdots ,x_m$的影响之后，再考虑$y$与$x_1$的相关程度

可以使用SPSS进行统计

变量筛选方法

• 偏F检验

  clc,clear 
  load data.txt %表中的数据按照原来的排列存放在纯文本文件data.txt中 
  [n,m]=size(data);m=m-1; 
  x=[ones(38,1),data(:,1:8)]; y=data(:,9); 
  [b,bint,r,rint,stats]=regress(y,x) %stats(4)返回的是残差的样本方差 
  r2=stats(1) %提出复判定系数 
  ad_r2=1-(1-r2)*(n-1)/(n-m-1) %计算调整复判断系数 
  f=stats(2) %提出F统计量 
  tm=inv(x'*x); %计算X'*X的逆矩阵 
  tm=diag(tm); %提出逆矩阵的对角线元素 
  rmse=sqrt(stats(4)) %计算剩余标准差（残差的样本标准差） 
  t=b./sqrt(tm)/rmse %求t统计量的值 
  

• 向前选择变量法

  clc,clear 
  load data.txt %表中的数据按照原来的排列存放在纯文本文件data.txt中 
  [n,m]=size(data); 
  y=data(:,9); 
  TT=[];
  for i=2:8 
  x=[ones(38,1),data(:,[1,i])]; 
  [b,bint,r,rint,stats]=regress(y,x) %stats(4)返回的是残差的样本方差 
  tm=inv(x'*x); %计算X'*X的逆矩阵 
  tm=diag(tm); %提出逆矩阵的对角线元素 
  rmse=sqrt(stats(4)) %计算剩余标准差（残差的样本标准差） 
  t=b./sqrt(tm)/rmse %求t统计量的值 
  TT=[TT,t]; 
  end 
  ts=TT(3,:) %求各个新加入变量的t检验值 
  pr=ts./sqrt(ts.^2+n-3) %计算偏相关系数
  

• 向后删除变量法

• 逐步回归

  Matlab中使用逐步回归stepwise(x,y,inmodel,alpha)

复共线性与有偏估计方法

• 复共线性
• 岭估计

非线性回归

非线性回归是指因变量$y$对回归系数${\beta }_1,\cdots ,{\beta }_m$是非线性的。

Matlab中使用nlinfit,nlparci,nlpredci,nlintool进行非线性回归，并且可得到置信区间、预测值和(该值的)置信区间

nlinfit:计算回归系数；

nlparci:计算回归系数的置信区间；

nlpredci:计算预测值及其置信区间

clc,clear 
x0=[ 1 8.55 470 300 10 
 2 3.79 285 80 10 
 3 4.82 470 300 120 
 4 0.02 470 80 120 
 5 2.75 470 80 10 
 6 14.39 100 190 10 
 7 2.54 100 80 65 
 8 4.35 470 190 65 
 9 13.00 100 300 54 
 10 8.50 100 300 120 
 11 0.05 100 80 120 
 12 11.32 285 300 10 
 13 3.13 285 190 120]; 
x=x0(:,3:5); 
y=x0(:,2); 
beta=[0.1,0.05,0.02,1,2]'; %回归系数的初值,可以任意取，这里是给定的
[betahat,r,j]=nlinfit(x,y,@huaxue,beta); %r,j是下面命令用的信息
betaci=nlparci(betahat,r,'jacobian',j); 
betaa=[betahat,betaci] %回归系数及其置信区间
[yhat,delta]=nlpredci(@huaxue,x,betahat,r,'jacobian',j) 
%y的预测值及其置信区间的半径，置信区间为yhat±delta。
用nlintool得到一个交互式画面，左下方的Export可向工作区传送数据，如剩余标
准差等。使用命令 
nlintool(x,y,'huaxue',beta) 
可看到画面，并传出剩余标准差rmse= 0.1933。 

方程的误差分析

层次分析法(AHP)

适用于为相互关联相互制约的众多因素构成的复杂缺缺少定量数据的系统进行决策和排序

建立递阶层次结构模型

目标层、准则层、措施层（可以理解为为了达到某目标，需要遵守某准则，做出某措施，层层对应）

次构造出各层次中的所有判断矩阵；

判断矩阵$A$中的$(i,j)$位置有元素$a_{ij}$。

$a_{ij}$是n个对Z影响因子$X=\{x_1,...,x_n\}$中对$x_i$与$x_j$进行比较得出，表示 $x_i$ 与 $x_j$ 对Z的影响大小之比，这样建立了$A$一个表达成对比较的矩阵。

做$\frac{n(n-1)}{2}$次两两判断是有必要的。

层次单排序及一致性检验；

得到的评价矩阵有可能出现相悖的情况，因此要进行一致性检验，具体说明如下：
$$a_{ij}{a}_{jk}=a_{ik},\forall i,j,k=1,2,...n$$
满足关系式（1）的正互反矩阵称为一致矩阵。

层次总排序及一致性检验；

论文风格与特点

大量精准的数据有力证明了模型的准确性。

感想

多利用SPSS、Matlab进行数据分析与计算，建模阶段只需进行简单的建模说明以及模型优劣分析方法的选择即可。

论文新开（10-15下午论文学习）

论文的小节划分

1. 重述并澄清赛题；

2. 列出建模所用的所有前提条件及假设，并给出清晰的解释；

3. 分析赛题，给出建模动机或论证建模的合理性；

4. 模型设计；

5. 讨论模型的优缺点；

6. 书写论文摘要，摘要必须按照要求写在特定的摘要页上，长度不超过一页，提交时作为参赛论文的首页；
   $$\begin{array}{rl}& Summary\\ & 1.Restatementoftheproblem\\ & 2.Assumptions\\ & 3.JustificationofOurApproach\\ & 4.TheModel\\ & \mathrm{4.1.}Dissatisfactionofapassengerneedingaconnection\\ & \mathrm{4.2.}Dissatisfactionofapassengernotneedingaconnection\\ & \mathrm{4.3.}Totaldissatisfactiononanaircraft\\ & 5.TestiongtheModel\\ & 6.Results\\ & 7.StrengthsandWeakness\\ & References\end{array}$$

摘要部分

和引言（Introduction Restatement）一样应该足够抓眼，应该包括这些内容：

1. 赛题重述与阐明；
2. 解释假设条件及其合理性；
3. 模型设计及合理性论证；
4. 描述模型的测试情况以及灵敏度分析；
5. 优缺点讨论

论文细节

1. 重要的句子，首次定义的概念，应该用黑体或斜体书写。在突出的同时要尽量少用黑体或斜体字体；
2. 重要的数学公式（equation）应另起新行单独列出，建模使用的假设条件以及所有可以用列表方式表述的内容都使用图标描述，加以简单的文字说明；
3. 引言重在“引”，简单介绍题目背景以及本文重心，除了重述赛题，写出自己的理解，还应该对现有文献在相似问题上的研究做适当的综述和评论，简明地描述参赛小组的解题方法以及主要结果；
4. 模型假设务必到位，务必确定一个最好模型；
5. 最终要对模型进行敏感性分析和稳定性测试，令模型更具有说服力；
6. 模型缺陷必须提！对自己的模型真诚一点！
7. 光标位置是时间线，当前写的内容就是一般现在时，在这之前做过的用一般过去时，这之后用将来时；

$Reference$

[1]《数学建模教材》司守奎

[2]《正确写作美国大学生数学建模竞赛论文》王杰、贝朗格