摘要：1.由于在预测电价方面，深度学习算法较少，本文提出四个深度模型预测电价。
2.针对电价预测的基准少，比较并分析27种常用预测方法的准确性。
3.基于结果，说明了深度学习方法更为准确，并且具有统计意义。
4.使用相同的结果表明：（i）机器学习方法通常比统计模型具有更高的准确性； （ii）移动平均项不能提高预测准确性； （iii）混合模型的表现并不优于其简单模型。
1.1电价预测
电价预测文献通常分为五个领域：（i）博弈论模型，（ii）基本方法，（iii）简化形式模型，（iv）统计模型和（v）机器学习方法。 由于统计和机器学习方法已显示出最好的结果，因此它们是本文的重点，也是本文将进行的基准测试的重点。
统计学习方法的缺点：线性预测器，在变化频率较高（变化快的每小时数据）的数据表现不佳，频率低（每周的数据）的表现良好。
1.2深度神经网络
深度神经网络用于预测的三个原因：
1.先进的RNN结构，LSTM,GRU已被证明是对复杂的非线性时间序列（电价）进行准确建模的更好的选择。
2.虽然单层网络理论上可以建模任何非线性连续函数，但是与简单的MLP相比，深度网络实际上可能不那么复杂，而且泛化能力仍然更好。
3.考虑到在其他能源相关应用的时间序列预测中获得的出色结果，预测电价也可能会因使用DL结构而受益。
2.超参数
采用树形结构的Parzen估计器，它是贝叶斯优化方法系列中基于序列模型的优化算法
DM测试建立了协方差平稳损失函数和相关的损失差异。（测试两个模型的预测能力有无显著性差异）
3.深度模型框架
3.1市场整合
所有的深度模型处理多任务（预测不同市场的电价），模型可以了解一般特征并整合相邻市场间关系。
3.2 DNN模型
两层隐藏层，特征为当前市场和近邻市场的24小时电价向量。
3.3 LSTM-DNN模型
对于该新模型，将输入划分为对顺序时间数据进行建模的输入，例如 过去的电价，以及建模常规数据的价格，例如 一周中的一天或电网负荷的日前预测。 这种划分是必需的，因为LSTM网络需要一系列时间序列值作为输入。 但是，因为不是所有可能的电价预测回归器，都具有该特性。
时序用LSTM建模，如24h电价；与前一天有关的属性用DNN, 如天气的日前预报或明天是否为holiday。
将两者的中间状态级联成向量，传输到输出层。
3.4 GRU-DNN模型
用GRU代替LSTM
3.5 CNN模型
与前两种情况一样，将输入分为过去的连续数据的输入和有关前一天的信息的输入。 对于混合模型，必须进行划分，因为循环层需要时序数据。 在这种新情况下，需要进行分隔，以便将尺寸与相同CNN输入相同的数据分组。 特别是，数据分为两部分：过去的时序信息和未来一天的24小时信息。
使用MAE而不是用RMSE的原因是：由于电价大幅上涨，因此欧几里得规范会过于重视尖峰电价。
4.benchmark
除了4个DL模型，还有23个基准模型，考虑每一个模型不同版本，总共98个基准。将23个模型预测器分为三种：无外源输入的统计方法，有外源输入的统计方法和机器学习方法。
4.1 无外源的统计方法
用y预测y+1：AR，GRACH（自回归条件异方差模型），指数平滑。
AR中选择四种模型：（假设同方差，即恒定方差和协方差函数，并使用线性模型对时间序列中的时间相关性进行建模）
1.小波ARIMA模型[18]
2.双季节ARIMA（DSARIMA）模型[9]，考虑电价的双季节（即每周和每天）的ARIMA模型。
3. 具有24、48和168小时滞后的自回归模型[64]，也可模拟一周中各天之间的差异。
4.小波-ARIMA-RBF模型[42]，它考虑了传统的小波-ARIMA结构，但向其中添加了RBF网络对残差建模。 该模型将表示为WARIMA-RBF。
GRACH模型：（不需要同方差，需要与AR结合提高准确定，无法独立预测）
5. ARIMA-GARCH模型[15]，考虑带有GARCH残差的标准ARIMA模型。
指数平滑（过去值的指数加权平均值进行预测）：
6. DSHW [65]模型，[9]成功用于预测现货电价的算法。
7.具有Box-Cox变换，ARMA误差，趋势和季节成分（TBATS）[66]的指数平滑状态空间模型，该模型可以对多个季节进行建模。 虽然这种方法以前从未用于电价预测，但它是DSHW模型的概括[66]。
4.2 有外源的统计学习方法
4.3 半参数模型
半参数模型的前提是，在给定一些经验数据的情况下，非参数内核密度估计量可能比任何参数分布都具有更好的拟合度。 半参数模型放宽了在估计时通常需要的概率分布假设。
半参数模型的一个例子是半参数ARX模型，它具有与等效ARX模型相同的功能形式，但是它们放宽了最大似然估计所需的正态性假设[68,8]。 对于基准，考虑两种不同的半参数模型：
13. Hsieh-Manski ARX（IHMARX）估计器，在[8]中对电价预测进行了研究。
14.平滑非参数ARX（SNARX）估计器，在[8]中应用于电价预测。
4.4 自动选择输入的模型（前三类的实例）
15.用套索（fARX-Lasso）[67]模型进行正则化的fARX模型，在ARX模型的子类中定义的fARX模型使用套索[69]作为正则化工具来自动减少不重要输入的贡献。
16. fARX-EN [67]模型，相同的模型，但是使用弹性网[70]作为正则化工具。
4.5 人工智能模型：基于神经网络、基于SVR、集成模型。
神经网络
17.传统MLP，单隐层。
18.RBF网络。
SVR：将非线性数据映射到高维空间，在此空间中线性回归。 基准测试三个模型：
19.普通SVR模型。
20. SOM-SVR [25,72]模型，首先通过自组织地图（SOM）将数据聚类，再对每个聚类通过不同的SVR模型预测电价。
21. SVR-ARIMA [26]模型，用SVR捕获价格非线性，ARIMA用于线性。
集成算法
22.随机森林：通过组合多个回归树来预测数据。 基于bagging原理[73，第8章]，即将具有低偏差，高方差误差的模型组合在一起，以减少方差，同时保持低偏差。
23.XGBoost：组合高偏差，低方差，已减少误差，同时保持低方差。
4.4.1。 建模选项1：尖峰预处理
电价峰值波动较大但不频繁[2]，因此，如果在估算过程中忽略峰值，则可以获得更好的模型。 搜索一在估计模型参数时，我们考虑了两个模型备选方案：
1. MO1A1：将尖峰限制为标准偏差的平均值的正负三倍。
2. MO1A2：用原始价格。
4.4.2.选项2：特征选择
1.默认选项；2.特征筛选。
4.4.3 市场整合
市场整合可提高预测准确性。
1. MO3A1：仅预测本地市场的价格。
2. MO3A2：考虑市场整合并同时预测各个市场价格。
5.案例研究
2010年1月1日-2016年11月31日比利时日间市场。
可用的输入特征包括：
（a）比利时EPEX电网负荷的日前预测lB。
（b）比利时EPEX的可用发电量的日前预测gB。
（c）邻近的法国EPEX市场的过去价格pF。
（d）法国EPEX电网负载的日前预报。
（e）法国EPEX可用发电量的日前预测gF。
训练集：(01/01/2010–30/11/2014)；验证集：(01/12/2014–30/11/2015)；测试集：(01/12/2015–30/11/2016)。
数据预处理：统计学习方法使用BC转换（包括对数转换），DL和ML使用归一化。
停止准则：
1.对于除了NN的模型，当到达局部最小值时停止。
2.NN，当验证集性能改进，停止--early stopping。
对于所有非凸模型，所描述的停止准则不能确保找到最佳模型，即，最佳解在局部极小值或其附近。 为了改善这种情况，我们在超参数选择中添加了多起点优化。使得在优化超参数时，可以探索更大的参数空间区域，从而可以提高获得的局部解的质量。
表二结论：1*平滑尖峰对统计模型的精度有提高，对ML模型的精度降低。因为尖峰是非线性。
2*特征选择对模型效果有提高。
3*同时预测多个市场改善模型的准确度，只限于DL模型。特别是在执行多任务处理时，深度神经网络可以解决辅助任务和相关任务，例如 预测邻近市场，以便更好地泛化并避免过度拟合。
模型超参--表3-6
DMtest<0，则m2比m1好.
DNN比其他DL好的原因：
1.数据量：DL模型要求对大量数据进行适当的训练。比较这四个DL模型时，DNN的参数要少于其他三个。结果，训练起来可能会更容易。该假设还与以下事实相吻合：CNN性能是四个参数中最差的一个，因为它是参数数量最多的模型。
第二个可能的原因是网络的结构。特别是，GRU，LSTM和CNN模型在两个不同的网络中将与日前和过去的数据相对应的数据分开。但如果某些过去的数据和日前的数据高度相关，则这三个结构都无法正确建立这些关系。相比之下，DNN模型不对输入数据做任何假设，并允许建立任何可能的关系。
GARCH：广义ARCH模型，异方差。（打破AR模型假设：时间波动幅度（方差）是固定的）
box-cox变化：广义幂变换，用于连续的响应变量不满足正态分布。