之前是从DNN CNN RNN LSTM这样看下来的,当知道时间序列有另外的ARIMA处理模型时,刚看时有点转不过来,相当的疑惑;时间趋势可分解为: 内在趋势/季节性趋势/周期性趋势/噪音 这个还好理解;对ARIMA模型中 判断拖尾截尾来决定用AR还是MA模型,那真是相当地不明白啥情况。搜了很多,好像了解一点,又好像没明白。实际就是没明白。
当时做的笔记有:
自相关拖尾 偏相关截尾 则用AR算法
自相关拖尾 偏相关截尾 则用MA算法
自相关和偏相关 都拖尾 则用ARMA算法
自相关缓慢衰减 偏相关快速衰减 则用AR算法
自相关快速衰减 偏相关缓慢衰减 则用MA算法
自相关和偏相关 都缓慢衰减 则用ARMA算法
自相关包括了全部的分布 偏相关未包括全部的分布 则用AR算法
自相关未包括全部的分布 偏相关包括了全部的分布 则用MA算法
暂不考虑其他要素影响时 未包括全部的分布 偏相关截尾
暂不考虑其他要素影响时 包括了全部的分布 偏相关拖尾
拖尾: 长期记忆 缓慢衰减 包括了全部的分布
截尾: 短期记忆 快速衰减 未包括全部的分布
拖着长长的尾巴, 就是拖尾,慢慢减少的
突然收敛到临界值水平范围内的,这就是截尾
这么多说的都是同一个事,但是我仍不明白/就是不明白,为什么 自相关拖尾 偏相关截尾 就用AR?
还有,为什么不平稳的时间序列,一阶差分或二阶差分就能平稳?
本文适合有类似疑问的同学。完整的教程 请参考其他大咖的分享。
AR / MA公式定义如下:
再大白话了解下AR/MA是什么
其实AR的公式中已经很明显了:一组数据中,前后数据中, 前面的数据在影响后面的数据。
举个粟子:
AR模型: 本月消费 根据前一个月或前几个月的消费决定。 但是根据 的结果:本月消费根据前一个月或前几个月的消费 由前一个月或前几个月的收入决定。(供对比了解,机器学习中估计用得很少?)
例如一阶AR模型中, 某个家庭上个月消费得太多,本月消费就少点。消费额是自相关的,且是负的;
MA模型:MA模型的作用是: 比如上个月消费中,有一个意外支出是摔了一跤产生了一笔不小的医药费,MA模型可以平滑这种意外,而不是让这种意外消费直接影响到本月消费的预测
那为什么 自相关拖尾 偏相关截尾 就用AR呢?
举个粟子:现在是7月
假设在三阶AR模型中,自相关表示的是4月消费跟现在7月消费之间的相关性。 而实际7月的消费,除了受4月消费的影响外还受5月 6月消费的影响(4月影响5月,5月影响6月),那偏相关表示的就是 剔除5月 6月消费的影响后,纯4月消费与7月消费的相关性
如果 偏相关 缓慢衰减,可以这么理解:相当于(前面的数据)95%在置信区间内,即可以接
受为真的,也就是偏相关是真正存在的,真正是有内在联系的。4月的消费确实是能直接影响 7月的消费的;而自相关缓慢衰减 可理解/假设为 50%在置信区间内,即不知道是真是假,可能是也可能不是。有可能正相关刚好被负噪声掩盖了。而使用AR模型 就可以表现出其自相关。
反过来,偏相关缓慢衰减,相当于偏相关50%在置信区间内,即不知道是真存在还是假存在,但自相关快速衰减,相当于自相关(前面的数据)95%在置信区间内,即可以接受为真的,自相关肯定是存在的,4月的消费表面上看是影响了7月的消费(这次为什么说是表面,是因为不能肯定 偏相关存在,但表象上看自相关存在),所以要用MA去平滑 处理噪声
(注意95%不是一个绝对值,可能是96%或92%等,只要是一个相对较高的在置信区间的数字,而衰减后的数字肯定相对比较低了)
所以,使用AR还是MA, 关键应该 先看偏相关是否存在,其次 再看自相关是否存在。 个人觉得最合适的语言应该是:
偏相关确定存在,自相关不确定是否存在, 用AR算法
偏相关不确定是否存在,自相关确定存在, 用MA算法
偏相关和自相关 都不确定是否存在,用ARIMA算法
拖尾 截尾 缓慢衰减 快速衰减 这些是对PACF ACF图的描述, 其实也可以有别的描述方法,其本质是上面说的偏相关 自相关是否存在。而对初学者来说,这样的描述有点绕,有点晕。。
差分在经济意义上是增量分析。旁边的小哥说他理解的一阶差分是速度 ,二阶差分是加速度 ,我觉得这种理解也挺好的。有一个联系:差分是微分的离散版。或者说"其准确的数学用语是差分 和微分比,一个是有限量,一个是极限量"
随机性趋势 可通过差分的方法消除,
但确定性趋势 无法通过差分的方法消除,而只能通过除去趋势项消除
所以我对 "不平稳的时间序列,可以通过一阶差分或二阶差分得到平稳" 仍然存疑。 含确定性趋势的序列差分后,"则会得到含单位根的移动平均过程" ---应该还是一个不平稳的过程?
ARIMA 主要用于建立线性的模型,实际中应该用RNN LSTM更多。