backtrader读取本地行情数据库的几种方法—以mysql为例说明

backtrader读取本地行情数据库的几种方法—以mysql为例说明_第1张图片

本地行情数据库的优点

如果只是偶尔简单的回测,那直接从tushare、yfinance等数据源获取数据就可以了。但如果每天要进行多次回测且对延迟以及数据处理有很多要求时,建立本地行情数据库就是非常有必要的了。

本地行情数据库的几个优点:

  • 网络延迟小
  • 只有第一次行情数据需要从远程读取。在多次远程读取行情数据需要多花钱的情况下,可以减少费用支出
  • 可以将数据和策略隔离。多个数据源导入到数据库,backtrader只从数据库读取行情数据,不用关心数据是从tushare读取、还是从yfinance读取
  • 可方便扩展支持更多指标。除datetime(时间)、open(开盘价)、close(收盘价)、high(最高价)、low(最低价)、volume(成交量)这些常用指标外,其他指标可以很好的扩展
  • 方便数据备份恢复。 mysql的生态非常成熟,常见任务比如备份恢复可以很方便完成

本地行情数据库可以是sqlite、mysql、postgresql等sql数据库,也可以是mongodb、leveldb、rocksdb、dolphindb等nosql数据库。本文以mysql为例进行说明,其他数据库请求原理类似,暂不单独说明。

本文介绍几种从本地行情数据库读取数据到backtrader的方法,供参考。示例代码关注微信公众号查看,公众号:诸葛说talk

方法1 — pandas read_sql直接读取

pandas作为数据处理的瑞士军刀,可以直接支持从sql读取数据生成DataFrame,当然需要将数据库连接作为参数。生成DataFrame后将其传给backtrader的bt.feeds.PandasData()类创建pandas data对象,策略便能使用了。

方法2 — 读取数据库,再将数据记录转成pandas dataframe

从数据库读取行情数据后,通过DataFrame()函数手动将list数据转成pandas dataframe数据,然后将其传给backtrader的bt.feeds.PandasData()类创建pandas data对象,策略便能使用了。

方法3—自定义DataFeed从数据库读取

DataFeed 即 backtrader 中的数据源,任何数据进入backtrader策略回测前都要通过DataFeed。方法3就是增加一个基于mysql的DataFeed,示例代码参考官方论坛,如下所示。首先,自定义MySQLData类使其继承自backtrader的数据基类 DataBase,如果需要从外部传入所需股票数据的代码和其一定范围内的K线数据,需要提前定义params。在 cerebro.adddata(data) 的时候,cerebro会遍历Datafeed的所有数据,此时会调用_load函数,需要在_load()函数里面将数据库中提取的每列数据对应到lines上。示例代码关注微信公众号查看,公众号:诸葛说talk

此外,如果你有除了datetime(时间)open(开盘价)close(收盘价)high(最高价)low(最低价)volume(成交量) 之外的指标。需要提前自定义对应的lines,如下新增了turnover lines:

lines = (
        "turnover"
    )

结论

上述三种方法都可以实现目的,不过方法3更加自由一些,特别是需要自定义lines的时候。 我自己用的时候也是基于方法3来实现,但为了更好的兼容其他库,我没有直接使用sqlalchemy来请求mysql,而是使用peewee 来访问mysql。peewee是一个简单好用的orm,支持sqlite, mysql, postgresql 和cockroachdb。

交流

示例代码欢迎关注微信公众号获取,最新最全的文章会优先发布在微信公众号上。

公众号:诸葛说talk

你可能感兴趣的:(量化投资,数据库,mysql,database,python,金融)