f[x_] := x^2 + 3*x + 3;
data = Table[f[i], {i, 0, 10, .1}];
(*原始图像*)
ListPlot[data, AxesOrigin -> {0, 0}, PlotLabel -> "原始图像"]
(*进行第一次差分*)
temp = Differences[data];
(*第一次差分后的图像*)
ListPlot[temp, PlotLabel -> "第一次差分"]
(*进行第二次差分*)
ListPlot[Differences[temp], PlotLabel -> "第二次差分"]
可以得到如下的图形
我们可以看到做两次差分后的图形是一条直线,即可以将非平稳的时间序列变成平稳的。我们后面会举一个更好的例子,这个例子先让大家看一下差分是什么,差分和求导的联系。
单位根检验原理 : 对时间序列 data 执行假设检验,其中零假设 Subscript[H, 0] 为满足 AR 模型的时间序列在相应的传递函数的分母中有一个单位根,而置换假设 Subscript[H, a] 则相反.
在 mathematica 的函数为 UnitRootTest
该函数返回的是 p-value , 若 p-value 越小,则越拒绝原假设,即 p-value 越小,越不需要进行差分
我们看一个实际的例子
- 首先通过累加生成一组随机数
sample = RandomFunction[ARIMAProcess[{-.1}, 2, {.2}, .1], {1, 20^2}];
temp = sample[[2]][[1, 1]];
ListPlot[sample]
UnitRootTest[temp, Automatic, "HypothesisTestData"]["TestDataTable"]
ListPlot@Differences[temp]
做完一次差分后数据还是非平稳的
- 第二次差分
ListPlot@Differences[temp, 2]
可以看到再做了两次差分之后,数据就已经把趋势去掉了,就可以用做完差分后的数据去做分析了
UnitRootTest[Differences[temp, 2], Automatic, "HypothesisTestData"]["TestDataTable"]
可以看到做完两次差分后再做单位根检验 p 值就很小了,即不需要再做单位根检验了。
现在我们有了差分这个工具,于是我们继续优化我们之前的 ARMA 模型,改进后的模型称为 ARIMA 模型。
ARIMA(p,d,q)–p 表示自回归 (AR) 的系数,d 表示差分的阶数,q 表示滑动平均 (MA) 的系数
在 mathematica 中,我们可以直接调用ARIMA
来拟合数据。
讲一个和这个有点关系的,又挺有意思的一个问题。
模型产生典故
§Karl Pearson(1905) 在《自然》杂志上提问:假如有个醉汉醉得非常严重,完全丧失方向感,把他放在荒郊野外,一段时间之后再去找他,在什么地方找到他的概率最大呢?
data = Accumulate[RandomReal[{-1, 1}, 100]];
ListLinePlot[data]
ListLinePlot[Differences[data]]
可以看到做完一阶差分之后数据就已经平稳了。于是我们想到了对差分后的数据检验一下是否是白噪声。我们知道,这些数据是随机生成的,那么检验出来的结果应该就是白噪声。我们下面看一下是不是白噪声。
ListPlot[Table[AutocorrelationTest[Differences[data], i], {i, 1, 10}], Filling -> Axis]
从图中,我们可以看到 p 值较大,则数据是白噪声。(p 值已经大于. 5 了)
Histogram@Table[Total[RandomReal[{-1, 1}, {100}]], {1000}]
得到下面的图像
我们可以看到还是在零点附近找到醉汉的概率最大。大家可以推导一下具体的概率的表达式。
我们可以通过自相关图和偏自相关图来判别是否是稀疏模型
我们来看下面的一个例子,下面是数据–1917 年-1975 年美国 23 岁妇女每万人生育率序列
{{1917., 183.1}, {1918., 183.9}, {1919., 163.1}, {1920.,
179.5}, {1921., 181.4}, {1922., 173.4}, {1923., 167.6}, {1924.,
177.4}, {1925., 171.7}, {1926., 170.1}, {1927., 163.7}, {1928.,
151.9}, {1929., 145.4}, {1930., 145.}, {1931., 138.9}, {1932.,
131.5}, {1933., 125.7}, {1934., 129.5}, {1935., 129.6}, {1936.,
129.5}, {1937., 132.2}, {1938., 134.1}, {1939., 132.1}, {1940.,
137.4}, {1941., 148.1}, {1942., 174.1}, {1943., 174.7}, {1944.,
156.7}, {1945., 143.3}, {1946., 189.7}, {1947., 212.}, {1948.,
200.4}, {1949., 201.8}, {1950., 200.7}, {1951., 215.6}, {1952.,
222.5}, {1953., 231.5}, {1954., 237.9}, {1955., 244.}, {1956.,
259.4}, {1957., 268.8}, {1958., 264.3}, {1959., 264.5}, {1960.,
268.1}, {1961., 264.}, {1962., 252.8}, {1963., 240.}, {1964.,
229.1}, {1965., 204.8}, {1966., 193.3}, {1967., 179.}, {1968.,
178.1}, {1969., 181.1}, {1970., 165.6}, {1971., 159.8}, {1972.,
136.1}, {1973., 126.3}, {1974., 123.3}, {1975., 118.5}}
我们看一下时序图
可以看到 p 值 > 0.5,而且从图上看也不平稳,故做一阶差分。
ListLinePlot[Differences[data[[All, 2]]], PlotMarkers -> {"\[FilledDiamond]", 7}]
对做了差分后的数据做单位根检验
可以看到 p 值为 10^-6 次方,故不需要再做差分
ARIMA ((1, 4, 5), 1, 0)
,从自相关图中可以看出滞后 1,4,5 比较大,则第一第二个自相关系数为 0。其余同理。
2017/4/22