机器学习-时间序列(灰色系统预测模型)

机器学习的一个重要方向是序列模式探索，典型的序列模式探索包括时间序列分析和非时间序列分析。其中,大量的时间序列问题广泛分布在实现生活的许多领域中，对时间序列的分析我们也称之为趋势预测探索、更复杂的非平稳时间序列模型等。机器学习应用中，比较复杂的平稳时间序列模型、更复杂的非平稳时间序列模型等。机器学习应用中，比较常用的趋势预测探索方法有自回归平均移动模型(ARIMA)、灰色系统预测模型(GM)等。其中ARIMA模型多用于时间序列数量较多的趋势预测应用中，通常的数据量级为数十、数百、至数千；而GM模型多用于时间序列数量较少的趋势预测应用中，通常的数据量级为8-20，20-100.本节重点介绍灰色系统预测模型，并对ARIMA模型做简单介绍。
1.灰色系统预测模型是这样一个典型的专门处理小数据知识挖掘的方法：
灰色系统理论：
灰色系统是指已知部分信息的样本数据所能反应的不确定性系统。不完全的信息包括：
系统因素不完全明确。
因素关系不完全明确。
系统结构不完全明确。
系统作用原理不完全明确。
相应地，我们将信息完全的(包括内部特征)的系统称为白色系统，将信息完全未知(只有该系统与外界的联系信息)的系统称为黑色系统。如下图所示：

2.灰色系统预测
灰色系统预测是通过分辨系统因素之间的发展趋势的相似度或相异度(关联分析)，经过对原始数据的生成处理来探索系统变化的规律，它通过生成数据序列较强的规律性来建立相应的微分方程模型，从而预测事物的未来发展趋势。灰色系统预测可用于以下几方面：
时间序列预测：利用等时距观测到的反应预测目标特征的一系列数值构造灰色空间模型，预测未来某时刻的特征量，或达到某特征量的时间。
灾变预测：通过模型预测异常值出现的时刻，预测异常值何时出现在特定时区内。机器学习中我们将这种用法称为异常侦测。
拓扑预测：通过灰色模型预测事物未来变化的趋势和轨迹。
系统预测：对系统行为指标建立一组相互关联的灰色系统预测模型，预测系统各个环节的变化。
2.生成数的概念
生成数分为累加生成数(AGO)和累减生成数(IAGO)。
累加生成数(AGO)：是一次累加生成的数列。
累减生成数(IAGO)：是一次累减生成的数列。
累加生成与累减生成互为逆过程。
均值生成数(MEAC)；
3.关联度分析：
与机器学习中的变量相关分析和影响度分析(特性选择模型)相类似，灰色系统预测中的关联度分析也是探索事物动态关联的特征与程度，它是根据因素(变量)之间发展趋势的相似度和相异度来评价因素(变量)间的关联程度，通常这些因素(变量)是时间的一个函数，这是它与其他特性选择模型所分析的时间性变量相关性的区别。
有4个时间性的变量A、B、C、D,它们随时间变化的趋势图如下所示：我将A和B、C、D的关联度记为r_AB、r_AC、r_AD。显然，A和B的运行轨迹更加相似，A和C的运行轨迹部分相似，而A与D的运行模式则完全相反。因此我们得到了一组关联度大小不同的相关评价数据，按其数值大小排序得到{r_AB、r_AC、r_AD}，我们称之为关联序列。关联度分析就是一种曲线间几何形状的分析比较，几何形状越接近，则发展变化的趋势就越接近，关联程度越大，反之也是一样。

关联度分析是探索多时间变量的相互关系，它的计算方法如下：
1）关联系数计算：
设原始数列：

比较数列：

关联系数为：

其中:

对于量纲不一致的情况，即初值单位不同的序列，应先进行数值的初始化，即将序列的所有数据分别除以第一个数据(量纲)，然后再计算关联系数。

2）关联度的计算
上面计算得到的关联系数值表示了各时刻参考序列与比较序列间的关联程度。为了从总体考察序列间的关联程度，需计算它们的时间平均值，即关联度，计算公式为：

2.灰色系统预测模型是一种时间数列模型，它有很多不同类型的模型。灰色系统理论的微分方程称为GM模型(Gray Model),下面我们简要介绍一下其中最基本一种数列预测模型GM(1,1)。
数列预测模型GM(1,1)是最简单的、较常用的一种灰色系统预测模型，它是一个单变量的一阶灰微分方程模型，而GM(1,N)是多变量的一阶灰微分方程模型。GM(1,1)模型适用于与具有较强指数规律的序列，通常描述单调的变化过程。
1.GM(1,1)模型的建立方法：
有一原始非负数列：

首先，为了确保建模方法的可行性，要对该数列进行必要的检验处理，计算数列的等级比：

如果所有的级比λ_(k)都落在可容覆盖:
内，则数列$X^{(0)}$可以作为模型GM(1,1)的数据进行灰色预测。否则，需要对数列$X^{(0)}$做必要的变换处理，使其落入可容覆盖内，即取适当的常数c,做平移变换：


然后，设该原始非负数列的生成数列$X^{(1)}$：

该生成数列$X^{(1)}$的紧邻均值生成数列为$Z^{(1)}$：


则求微分方程$x^{(0)}$(k)+a*$z^{(1)}$(k)=b的最小二乘估计系数列，

为灰微分方程$x^{(0)}$(k)+a*$z^{(1)}$=b的白化方程(影子方程)，

GM(1,1)灰微分方程$x^{(0)}$(k)+a*$z^{(1)}$=b的时间影像响应数列为：

我们取$x^{(1)}$(0)=$x^{(0)}(1)$，则：

还原到原始数据为：

2.GM(1,1)模型的检验
GM(1,1)模型建立完全后，需要对该GM(1,1)模型进行检验。模型检验包括三个方面：残差检验、关联度检验和后验差检验。
残差检验：即残差大小检验，是对模型值和实际值的残差进行逐点检测。

则绝对残差数列为：

其相对误差数列为：

为平均模拟相对误差。进一步地，我们将1-◬称为平均相对精度，1-◬_n为滤波精度。对于一个给定的ɑ，当◬<ɑ,且◬_n<ɑ成立时，称模型为残差合格模型。
关联度检验：即通过考察模型值曲线和建模序列曲线的相似程度进行检验。
后验差检验：设$X^{(0)}$为原始数列，$X^{(0)}$(hat)为相应的模拟误差数列，${\epsilon }^{(0)}$为残差数列，则：

称为均方差比值。对于给定的c₀>0,当c0时，称模型为均方差比合格模型。另外，将：

称为小误差概率。指标c和p是后验差检验的两个重要指标，可以根据这两个指标对模型的精度进行评级，精度由后验差和小误差概率共同说明，可参照下表：