阅读笔记DeepAR: Probabilistic Forecasting with Autoregressive Recurrent Networks

简介

DeepAR是一个概率预测模型，给历史数据，预测的是未来的分布。

方法

$z_{i,t}\in \mathbb{R}$表示时间序列$i$在$t$时刻的值。给一个连续时间段$t\in [1,T]$，将其划分为context window$[1,t_0)$和prediction window$[t_0,T]$。用context window的时间序列预测prediction window的时间序列的目标分布是
$$P({\mathbf{z}}_{i,t_0:T}|{\mathbf{z}}_{i,1:t_0-1},{\mathbf{x}}_{i,1:T})$$其中${\mathbf{x}}_{i,t}$是协变量(covariate)，也就是特征，可以是时间相关的，也可以是序列相关的，比如day-of-the-week、hour-of-the-day等。
作者用自回归（autoregressive）模型建模上面时间序列的概率：
$$Q_{\Theta }({\mathbf{z}}_{i,t_0:T}|{\mathbf{z}}_{i,1:t_0-1},{\mathbf{x}}_{i,1:T})={\Pi }_{t=t_0}^T{Q}_{\Theta }(z_{i,t}|{\mathbf{z}}_{i,1:t-1},{\mathbf{x}}_{i,1:T})={\Pi }_{t=t_0}^{T}l(z_{i,t}|\theta ({\mathbf{h}}_{i,t},\Theta ))$$自回归模型选择RNN，其中${\mathbf{h}}_{i,t}=h({\mathbf{h}}_{i,t-1},z_{i,t-1},{\mathbf{x}}_{i,t},\Theta )$是RNN的隐含表示。因为是概率模型，所以需要一个概率分布，分布的参数由$\theta ({\mathbf{h}}_{i,t},\Theta )$给出，是由网络预测得到的，例如分布的mean和variance。$l(z_{i,t}|\theta ({\mathbf{h}}_{i,t},\Theta ))$表示likelihood。

具体地，作者对实数值选择Gaussian likelihood，对正的计数值选择negative-binomial likelihood。

优化目标是最大化log-likelihood：
$$\mathcal{L}=\sum _{i=1}^N\sum _{t=t_0}^T\log l(z_{i,t}|\theta ({\mathbf{h}}_{i,t}))$$因为模型没有隐变量，所以不需要inference，可以直接用梯度下降优化。需要优化的参数$\Theta$包含RNN的参数，和计算分布参数的参数。

使用

Github上有开源实现GluonTS。
Amazon有网页介绍DeepAR的原理和在使用方法 https://docs.amazonaws.cn/sagemaker/latest/dg/deepar_how-it-works.html。

在具体实现的时候，DeepAR将根据目标时间序列的频率自动创建特征时间序列，特征时间序列作为协变量$\mathbf{x}$输入模型。

另外为了考虑季节性（seasonality，也就是周期性），DeepAR 还自动提供目标时间序列中的滞后（lag）值。如下图所示，本来是用context window的值（绿色部分）预测prediction window的值（蓝色部分），但实际上，DeepAR会按照季节性往回再取一些历史值（红色部分）。