分位数回归

本文链接:个人站 | | CSDN
版权声明:除特别声明外,本博客文章均采用 BY-NC-SA 许可协议。转载请注明出处。

用 表示一个随机变量,其概率密度函数为 ,累积分布函数为 。定义函数

其中 ,。求使得 的期望最小的 的取值。

的期望为
\begin{aligned} \mathbb{E}[L(Z,\hat Z)] &= \int_{-\infty}^{+\infty}L(z,\hat Z)f(z)\mathrm dz\\ &= \rho\int_{\hat Z}^{+\infty}(z-\hat Z)f(z)\mathrm dz + (1-\rho)\int_{-\infty}^{\hat Z}(\hat Z - z)f(z)\mathrm dz \end{aligned}


\begin{aligned} \frac{\partial \mathbb{E} [L(Z,\hat Z)]}{\partial \hat Z} &= 0\\ &=-\rho\int_{\hat Z} ^{+\infty}f(z)\mathrm dz+(1-\rho)\int_{-\infty}^{\hat Z}f(z)\mathrm dz\\ &=-\rho[1-F(\hat Z)]+(1-\rho)F(\hat Z)\\ &=F(\hat Z)-\rho \end{aligned}
解得

即使得 的期望最小的 的取值为 的 分位数。

在 DeepAR 等模型中,我们的预测目标是某个确定形式的概率分布的参数,通过最大化对数似然来优化网络。如果我们把预测的目标改为分位数,用 作为损失函数呢?下图是实验的结果:

DeepAR 分位数预测

看起来也不错。且这种方式并不预先假设分布的具体形式,似乎更加通用一些。

你可能感兴趣的:(分位数回归)