强化学习+神经网络来训练一个股票交易系统

简介：

本文采用强化学习+神经网络的框架，训练一个股票交易系统，并在个股上进行了测试。

下面为详细记录：

上面这个图是一个强化学习的交易模型。这个图是out sample的交易结果。2012~2015年的数据为训练数据，2015为out sample测试。

红线为伊利股份的股价，蓝线为交易净值。跑赢基准40个百分点。

上面这个图显示的是模型在训练过程中的表现，在125个训练周期之后，模型能稳定的跑赢基准约40个百分点。

然而不幸的是，这种交易效果的模型无法再次训练出来。

有两种可能：

1 神经网络的loss函数是非凸函数，由于初始参数的不同，很难再次优化到这样的模型参数。

（这意味着股市存在可盈利的模式，只是很难找出来。）

2 这样的收益仅仅是巧合。

做了各种尝试（不同的loss函数，增加神经网络的隐层，对交易频率的不同惩罚系数）

通过20次试验，在训练集中得到的模型在测试数据中都没有稳定的作用。典型的试验结果：

loss函数的不断优化，loss减小，训练时间段的netValue（图中下半截的蓝色线）增加，具有非常强的相关性。而测试时间段的netValue（图中下半截的黄色线）基本没有相关性。

训练集得到的模型在测试集上没有效果，看了股价要从历史的股价运动中总结规律，并要在未来起作用是很难的。