清风数学建模学习笔记——灰色预测模型推导及原理详解

灰色预测模型

  灰色预测是对既含有已知信息又含有不确定信息的系统进行预测，就是对在一定范围内变化的、与时间有关的灰色过程进行预测。
  灰色预测对原始数据进行生成处理来寻找系统变动的规律，并生成有较强规律性的数据序列，然后建立相应的微分方程模型，从而预测事物未来发展趋势的状况。

---

---

一、GM(1,1)模型简介

  GM(1,1)是最简单的灰色预测模型，它是使用原始的离散非负数据列，通过一次累加生成削弱随机性的较有规律的新的离散数据列，然后通过建立微分方程模型，得到在离散点处的解经过累减生成的原始数据的近似估计值，从而预测原始数据的后续发展。（本文中只探究 GM(1,1) 模型，第一个 1 表示微分方程是一阶的，后面的 1 表示只有一个变量）

---

二、GM(1,1)原理

  设 $x^{(0)}=(x^{(0)}(1)，x^{(0)}(2),\cdots ,x^{(0)}(n))$ 是最初非负数据列，对其一次累加得到新的生成数据 $x^{(1)}$ 。

  $x^{(1)}=(x^{(1)}(1)，x^{(1)}(2),\cdots ,x^{(1)}(n))$，其中：$x^{(1)}(m)={\sum }_{i=1}^m{x}^{(0)}(i),m=1,2,\cdots ,n$。

  令$z^{(1)}$ 为数列 $x^{(1)}$ 的紧邻生成数列，即 $z^{(1)}=(z^{(1)}(1)，z^{(1)}(2),\cdots ,z^{(1)}(n))$，其中: $z^{(1)}(m)=\delta x^{(1)}(m)+(1-\delta )x^{(1)}(m-1),m=2,3,\cdots$,$n$ 且 $\delta =0.5$。
       

---

  我们称方程 $x^{(0)}(k)+a{z}^{(1)}(k)=b$ 为 GM(1,1) 模型的基本形式（k=2,3,…,n），其中， $b$ 表示灰作用量。 $-a$ 表示发展系数。下面引入矩阵形式：
$$u=(a,b{)}^T,Y=\left[\begin{array}{c}{x}^{(0)}(2)\\ x^{(0)}(3)\\ ⋮\\ x^{(0)}(n)\end{array}\right],B=\left[\begin{array}{c}-z^{(1)}(2)1\\ -z^{(1)}(3)1\\ ⋮⋮\\ -z^{(1)}(n)1\end{array}\right]$$

  于是，GM(1,1) 模型 $x^{(0)}(k)+a{z}^{(1)}(k)=b$ 可表示为：$\mathbf{Y}=\mathbf{B}\mathbf{u}$
  利用最小二乘法得到参数 a,b 的估计值为：
$$\hat{u}=\left(\begin{array}{c}\hat{a}\\ \hat{b}\end{array}\right)=({\mathbf{B}}^{\mathbf{T}}\mathbf{B}{)}^{-1}{\mathbf{B}}^{\mathbf{T}}\mathbf{Y}$$

  实际上就是将 $x^{(0)}$ 序列视为因变量 $y$, $z^{(1)}$ 序列是为自变量 $x$，进行回归。
$${\mathbf{x}}^{(0)}(\mathbf{k})=-\mathbf{a}{\mathbf{z}}^{(1)}(\mathbf{k})+\mathbf{b}\Rightarrow \mathbf{y}=\mathbf{k}\mathbf{x}+\mathbf{b}$$

---

引入最小二乘法(OLS)

  最小二乘法定义：
$$\widehat{y_i}=k{x}_i+b,\hat{k},\hat{b}=\underset{k,b}{\mathrm{argmin}}(\sum _{i=1}^n(y_i-\widehat{y_i}{)}^2)=\underset{k,b}{\mathrm{argmin}}\sum _{i=1}^n(y_i-k{x}_i-b{)}^2$$

  我们令：
$$L=\sum _{i=1}^n(y_i-k{x}_i-b{)}^2=[y_1-k{x}_1-b,y_2-k{x}_2-b,\cdots ,y_n-k{x}_n-b]\left[\begin{array}{c}{y}_1-k{x}_1-b\\ y_2-k{x}_2-b\\ ⋮\\ y_n-k{x}_n-b\end{array}\right]$$

  并且令：
$$矩阵Y=\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right],X=\left[\begin{array}{c}1x_1\\ 1x_2\\ ⋮⋮\\ 1x_n\end{array}\right],\beta =\left[\begin{array}{c}b\\ k\end{array}\right]$$

  那么：
$$X\beta =\left[\begin{array}{c}b+k{x}_1\\ b+k{x}_2\\ ⋮\\ b+k{x}_n\end{array}\right],Y-X\beta =\left[\begin{array}{c}{y}_1-k{x}_1-b\\ y_2-k{x}_2-b\\ ⋮\\ y_n-k{x}_n-b\end{array}\right]$$

  所以有：
$$\begin{gathered} \begin{array}{l}L=(Y-X\beta {)}^T(Y-X\beta )\\ =(Y^T-{\beta }^T{X}^T)(Y-X\beta )\\ =Y^{T}Y-Y^{T}X\beta -{\beta }^T{X}^{T}Y+{\beta }^T{X}^{T}X\beta \end{array} \\ 则\hat{\beta }=\left[\begin{array}{c}\hat{b}\\ \hat{k}\end{array}\right]=\underset{\beta }{\mathrm{argmin}}(L)=\underset{\beta }{\mathrm{argmin}}=(Y^{T}Y-Y^{T}X\beta -{\beta }^T{X}^{T}Y+{\beta }^T{X}^{T}X\beta ) \end{gathered}$$

  对矩阵求导：
$$\frac{dL}{dt}=-X^{T}Y-X^{T}Y+2X^{T}X\beta =0\Rightarrow X^{T}X\beta =X^{T}Y$$

  所以：
$$\hat{\beta }=({\mathbf{X}}^{\mathbf{T}}\mathbf{X}{)}^{-1}{\mathbf{X}}^{\mathbf{T}}\mathbf{Y}$$

  最小二乘法可参考：https://blog.csdn.net/weixin_43819566/article/details/113091852

---

利用 OLS 估计的回归结果可以得出 $\hat{a}$ 和 $\hat{b}$，即 $x^{(0)}(k)=-\hat{a}{z}^{(1)}(k)+\hat{b}(k=2,3,\cdots ,n)$

$$x^{(0)}(k)=-\hat{a}{z}^{(1)}(k)+\hat{b}\Rightarrow x^{(1)}(k)-x^{(1)}(k-1)=-\hat{a}{z}^{(1)}(k)+\hat{b}$$

  对于以上式子:
$$\begin{gathered} 等式左边：x^{(1)}(k)-x^{(1)}(k-1)={\int }_{k-1}^k\frac{d{x}^{(1)}(t)}{dt}dt(牛顿莱布尼茨公式) \\ 等式右边：z^{(1)}(k)=\frac{x^{(1)}(k)+x^{(1)}(k-1)}{2}\approx {\int }_{k-1}^k{x}^{(1)}(t)dt(定积分几何意义) \end{gathered}$$

$${\int }_{k-1}^k\frac{d{x}^{(1)}(t)}{dt}dt\approx -\hat{a}{\int }_{k-1}^k{x}^{(1)}(t)dt+{\int }_{k-1}^k\hat{b}dt={\int }_{k-1}^k\left[-\hat{a}{x}^{(1)}(t)+\hat{b}\right]dt$$

$$微分方程：\frac{\mathbf{d}{\mathbf{x}}^{(1)}(\mathbf{t})}{\mathbf{d}\mathbf{t}}=-\hat{\mathbf{a}}{\mathbf{x}}^{(1)}(\mathbf{t})+\hat{\mathbf{b}}被称为\mathbf{G}\mathbf{M}(1,1)模型的白化方程$$

$${\mathbf{x}}^{(0)}(\mathbf{k})+\mathbf{a}{\mathbf{z}}^{(1)}(\mathbf{k})=\mathbf{b}被称为\mathbf{G}\mathbf{M}(1,1)的灰色微分方程$$

---

白化方程求解：

  白化方程：$\frac{d{x}^{(1)}(t)}{dt}=-\hat{a}{x}^{(1)}(t)+\hat{b}$，如果取初始值 ${\hat{x}}^{(1)}(t){\mid }_{t=1}=x^{(0)}(1)$，可求出对应的解为：
$$\begin{gathered} x^{(1)}(t)=\left[x^{(0)}(1)-\frac{\hat{b}}{\hat{a}}\right]e^{-\hat{a}(t-1)}+\frac{\hat{b}}{\hat{a}} \\ 所以x^{(1)}(m+1)=\left[x^{(0)}(1)-\frac{\hat{b}}{\hat{a}}\right]e^{-\hat{a}(m)}+\frac{\hat{b}}{\hat{a}},m=1,2,\cdots ,n-1 \end{gathered}$$

  由于 $x^{(1)}(m)=\sum _{i=1}^m{x}^{(0)}(i)，m=1,2,\cdots ,n$，所以可以得到：
$${\mathbf{x}}^{(0)}(\mathbf{m}+1)={\mathbf{x}}^{(1)}(\mathbf{m}+1)-{\mathbf{x}}^{(1)}(\mathbf{m})=(1-{\mathbf{e}}^{\hat{\mathbf{a}}})\left[{\mathbf{x}}^{(0)}(1)-\frac{\hat{\mathbf{b}}}{\hat{\mathbf{a}}}\right]{\mathbf{e}}^{-\hat{\mathbf{a}}(\mathbf{m})}+\frac{\hat{\mathbf{b}}}{\hat{\mathbf{a}}},\mathbf{m}=1,2,\cdots ,\mathbf{n}-1$$

  如果对原始数据进行预测，那么只需要在上式 $m\ge n$ 即可。

---

  GM(1,1)模型的本质是有条件的指数拟合：$f(x)=C_1{e}^{C_2(x-1)}$，其中这里的指数规律阵对 $x^{(1)}(k)$ 序列而言，原始数据是做差的结果。

---

三、准指数规律的检验

1. 数据具有准指数规律是使用灰色系统建模的理论基础。
2. 累加 $r$ 次的序列为 $x^{(r)}=(x^{(r)}(1)，x^{(r)}(2),\cdots ,x^{(r)}(n))$，定义级比 $\sigma (k)=\frac{x^{(r)}(k)}{x^{(r)}(k-1)},k=2,3,\cdots ,n$。
3. 如果 $\forall k,\sigma (k)\in [a,b]$，且区间长度 $\delta =b-a＜0.5$，则称累加 $r$ 次后的序列具有准指数规律。
4. 具体到 GM(1,1) 模型中，我们只需判断累加一次后的序列 $x^{(1)}=(x^{(1)}(1),x^{(1)}(2),\cdots ,x^{(1)}(n))$ 是否存在准指数规律。
5. 根据上述公式：
   序列 $x^{(1)}$ 的级比 $$\sigma (k)=\frac{x^{(1)}(k)}{x^{(1)}(k-1)}=\frac{x^{(0)}(k)+x^{(1)}(k-1)}{x^{(1)}(k-1)}=\frac{x^{(0)}(k)}{x^{(1)}(k-1)}+1$$
   定义 $\rho (k)=\frac{x^{(0)}(k)}{x^{(1)}(k-1)}$ 为原始序列 $x^{(0)}$ 的光滑比，注意到： $$\rho (k)=\frac{x^{(0)}(k)}{x^{(0)}(1)+x^{(0)}(2)+\cdots +x^{(0)}(k-1)}$$
   假设 $x^{(0)}$ 为非负序列，那么随着 $k$ 增加，最终 $\rho (k)$ 会逐渐接近 0，因此要是的具有 $x^{(1)}$ 具有准指数规律，即 $\forall k$，区间长度 $\delta$ ＜0.5，只需要保证 $\rho (k)\in (0,0.5)$ 即可，此时序列 $x^{(1)}$ 的级比 $\sigma (k)\in (1,1.5)$ 。

---

注意：一般前两期：$\rho (2)$ 和 $\rho (3)$ 可能不符合要求，重点关注后面的期数。

---

四、GM(1,1)模型的评价

  使用 GM(1,1) 模型对未来的数据进行预测时，首先需要检验 GM(1,1) 模型对原数据的拟合程度（对原始数据的还原效果）。一般有两种方法：残差检验和级比偏差检验。

---

残差检验：

  绝对残差：$\epsilon (k)=x^{(0)}(k)-{\hat{x}}^{(0)}(k)，k=2,3,\cdots ,n$
  相对残差： $${\epsilon }_r(k)=\frac{|x^{(0)}-{\hat{x}}^{(0)}(k)|}{x^{(0)}(k)}\times 100\%，k=2,3,\cdots ,n$$

  平均相对残差：
$${\overline{\epsilon }}_r=\frac{1}{n-1}\sum _{k=2}^n|{\epsilon }_r(k)|$$

• 如果 ${\overline{\epsilon }}_r＜20\%$，则认为 GM(1,1) 对原始数据的拟合达到了一般要求。
• 如果 ${\overline{\epsilon }}_r＜10\%$，则认为 GM(1,1) 对原始数据的拟合达效果非常不错。（10%不绝对）

---

级比偏差检验：

  首先由 $x^{(0)}(k-1)$ 和$x^{(0)}(k)$ 计算出原始数据的级比 $\sigma (k)$：
$$\sigma (k)=\frac{x^{(0)}(k)}{x^{(0)}(k-1)},(k=2,3,\cdots ,n)$$

  再根据预测出来的发展系数 $(-\hat{a})$ 计算出相应的级比偏差和平均级比偏差:
$$\eta (k)=\left|1-\frac{1-0.5\hat{a}}{1+0.5\hat{a}}\frac{1}{\sigma (k)}\right|,\bar{\eta }=\sum _{k=2}^n\frac{\eta (k)}{n-1}$$

• 如果 $\bar{\eta }＜0.2$，则认为 GM(1,1) 对原始数据的拟合达到了一般要求。
• 如果 $\bar{\eta }＜0.1$，则认为 GM(1,1) 对原始数据的拟合达效果非常不错。

---

  检验的原理：$\eta (k)$ 越小，说明 $x^{(0)}(k)$ 和 ${\hat{x}}^{(0)}(k)$ 越接近。特别地，当 $\eta (k)=0$ 时，可以得到：
$$\sigma (k)=\frac{1-0.5\hat{a}}{1+0.5\hat{a}}=\frac{{\hat{x}}^{(0)}(k)}{x^{(0)}(k-1)}$$

---

五、模型扩展（★）

1. 数据是以年份度量的非负数据（如果是月份或者季度数据就要用 时间序列模型);
2. 数据能经过准指数规律的检验（除了前两期外，后面至少90%的期数的光滑比要低于0.5，规定的 90% 不绝对) ;
3. 数据的期数较短且和其他数据之间的关联性不强（小于等于10，也不能太短了，比如只有 3 期数据），要是数据期数较长，一般用传统的时间序列模型比较合适。
4. 在传统的 GM(1,1) 模型的基础上，每预测一次，将预测的数据作为已知数据进行下一次预测，那么这种模型为 新信息 GM(1,1) 模型。在新信息 GM(1,1) 模型的基础上，去掉最老信息 $x^{(0)}(1)$ ，那么这种模型为 新陈代谢 GM(1,1) 模型。应对比传统GM(1,1)、新信息 GM(1,1) 、新陈代谢 GM(1,1) 三种模型的预测效果，抉择使用。

---

  本文借鉴了数学建模清风老师的课件与思路，如果大家发现文章中有不正确的地方，欢迎大家在评论区留言，也可以点击查看下方链接查看清风老师的视频讲解~

原文链接：https://www.bilibili.com/video/BV1DW411s7wi