TensorFlow练习26: AI操盘手

Deep Q-learning玩游戏玩的不错，使用类似的方法，本帖尝试使用强化学习训练一个 AI操盘手。这个AI可以决定一支股票什么时候买入，什么时候卖出，当然，终极目标是高回报。

我是小小程序猿，非金融玩家，本帖只是一点个人观点，纯属娱乐。如有错误，欢迎指正。

话说股票价格到底能不能预测

先来看一下<随机游走假说-Random Walk>。

随机游走假说（英语：Random walk hypothesis）是金融学上的一个假说，认为股票市场的价格，会形成随机游走模式，因此它是无法被预测的。（摘自wiki）

生成一个随机游走时间序列数据：

1 2 3 4 5 6 7 8 9 10

import random from matplotlib import pyplot   random_walk = [ - 1 if random . random ( ) < 0.5 else 1 ]   for i in range ( 1 , 1000 ) : random_walk . append ( random_walk [ i - 1 ] + ( - 1 if random . random ( ) < 0.5 else 1 ) )   pyplot . plot ( random_walk ) pyplot . show ( )

上面生成的这个数据序列像不像股票走势，这个数据序列是无法有效预测的。难道股票价格真的无迹可寻吗？

不要忘了股票价格是受外界环境影响的，如公司、股人、大佬、政治、甚至太阳的活动周期等等。人是情感动物，一个人不好预测，大众的行为还是可预测的。当你的模型将所有的因素全都考虑进来，那么股价的预测是不是就可行了呢？从量子力学的角度来看，未来是测不准的，只能求出概率。记住，当你预判别人的同时，别人也在预判你（镜中镜）。

• 新闻头条预测股票，Kaggle：Daily News for Stock Market Prediction
• 各路大神的评论：股票价格真的能预测吗?   用人工智能计算股票的涨和跌可行吗？
• 川普喜好在推特上喷人，首创“推特治国”模式。于是有人做个了Trump2Cash，对Trump发的推特进行实时情绪分析，然后依据他对某公司/产业的积极/消极态度自动交易股票。

上图是比特币的近期走势图，这货在去年12月份经历了一次大涨，涨的过程像不像阶梯。媒体一看比特币涨了，就会大肆报道，这就吸引了投资者眼球（贪婪），如果你查这段时间的搜索趋势，你会看到比特币的搜索量明显增多了。

当然有涨就有跌，这货不可能一直涨，最后一根稻草一旦被压断，就会出现断崖式下跌(恐慌)，随之而来又是一段稳定期。

比特币涨了，我该不该入手？（如果你是投资者）
比特币跌了，我该不该出手？
当你发现你问这两个问题时，就已经晚了。在金融市场，不先人一两步怎么能成。

AI操盘手

AI操盘手从复杂环境中学到交易规则，然后应用action（买、卖，憋着）反作用到环境，借助强化学习，这个AI操盘手会不断进化。

Deep Q-learning可以从原始数据中进行端到端的学习策略。

本帖只是一个简单的示例，只是看看能不能把Deep Q-learning应用到股票交易。

首先获得一些股票数据：

1 2 3 4 5 6 7 8 9

from yahoo_finance import Share import pandas as pd   share = Share ( "IBM" ) stock_history = share . get_historical ( "1989-01-01" , "2017-01-01" ) ibm_df = pd . DataFrame ( stock_history ) ibm_df = ibm_df . iloc [ :: - 1 ]   ibm_df . to_csv ( "ibm_stock_data.csv" , index = False )

header

画出每天Open指标：

代码（AI模拟交易；reward：最大化收益）：

代码还有点问题，容我在改改。

我只使用历史数据做为输入，这样是远远不够的。后续：添加更多影响股价的因素，如新闻、社交媒体、搜索趋势等等；添加多股票支持。

• http://hallvardnydal.github.io/new_posts/2015-07-21-deep_q/
• https://github.com/deependersingla/deep_trader
• Reinforcement Learning in Online Stock Trading Systems
• Stock Trading with Recurrent Reinforcement Learning (RRL)
• TensorFlow练习19: 预测天朝铁路客运量
• Deep Learning for Event-Driven Stock Prediction
• MQL4（MetaTrader 4）：创建自己的智能交易，内置大量帮助函数和命令

如要转载，请保持本文完整，并注明作者@斗大的熊猫和本文原始地址： http://blog.topspeedsnail.com/archives/11069