预测的指标

概率概率指标

当我们评估概率预测时，最大的挑战是，我们无法观测到真实值的真实分布。我们无法比较 预估分布和真实分布，只能比较 预估分布和一系列真实值。

	区间预测	概率预测
可靠性	PICP PINAW	PIT
敏锐度	Quantile loss; Winkler loss	CRPS

来自电价概率预测综述

一些概率指标：原理和实操

CRPS

1. 定义法：预估的分布和真实的分布的差的平方求积：
   预估分布不可求具体的函数，我们用quantiles分位点作为CDF，分位数作为x，得到yx的离散函数。或者可以直接用kernel density的密度pdf做cumtrapz，求取CDF.
   真实的分布不可知，我们用阶跃函数代替，即指示函数。
   求积用trapz函数，注意求积不是求和，求和的特例是求期望。
2. 采用pinballloss求积的方式代替CRPS，元是分位点。
   最后我们得到N个CRPS，求均值CRPS。

# 定义法：target代表真实值，x代表求积的x。
 target=ytest[i]
 x=inter[i,]
 indicator=target<=x
 crps1[i]=trapz(x,(tau-indicator)^2)
# pinball loss法
 qs[i,]=pmax(error[i,]*tau,error[i,]*(tau-1))
 crps[i]=trapz(tau,qs[i,])

lnS

PIT

详细的PIT讲解，csdn
真实值在预估分布中的值。得到N个PIT。
真实值的累计概率 应该服从均匀分布，我们画真实值的累计概率的直方分布频数图，若一条直线则均匀分布，若U型分布，则分布呈现尖峰，过于集中，若倒U分布，则分布呈现厚尾，过于分散。
或者画，PIT的cdf图，若呈45度射线，则服从均匀分布。
预估分布用分位点-分位数代替得到离散分布，（这样并不可取，不好插值），可以由pdf去求cdf，得到更多的离散分布。
预估分布函数通过插值求得，再代入真实值求真实值的累计概率。

cdf=cumtrapz(y,pdf)
Func=splinefun(y,cdf)
pits[i]=Func(target)
hist(pits)

Crossing loss

求均值而非求和

点预测

r2