通过jqdata校验本地vnpy数据库中日线和分钟线数据的完整性

—— 本篇文章 by 丁智

校验本地数据完整性

通过jqdata校验本地vnpy数据库中交易数据的完整性
登陆jqdata

import pandas as pd
import matplotlib.pyplot as plt
import numpy as np
import  jqdatasdk
import talib
tel = '12345678900'
pwd = '123456'
jqdatasdk.auth(tel, pwd)

# 登陆链接mongodb，使用的是VnTrade_Daily_Db（vnpy的日线库）与VnTrader_1Min_Db(vnpy的分钟线库)
from pymongo import MongoClient
conn = MongoClient('127.0.0.1', 27017)
symbol_daily_db = conn.VnTrader_Daily_Db[vt_symbol]
symbol_minute_db = conn.VnTrader_1Min_Db[vt_symbol]

**

数据校验思路

**
通过jqdata获取交易日历信息，获取合约的日线数据，按日线天数读取数据库数据，如果发现没有当日的数据，则可以找到缺少的数据信息。获得了之后，继续当日数据的数据量，如果发现某日数据量与昨日数据量不符（有可能由于切换了交易时间导致的），则提示，再通过jqdata获取当日的数据量，来校验是数据量缺少还是由于类似交易时间的问题，导致数据错误，具体判断逻辑如下：

1. 有日线数据，数据库中数据为0，判断为异常数据
2. 昨日数据与今日数据数据量不一致，则通过jqdata去查询当日数据，数据量不一致，则判断为错误。
3. 如果昨日数据与今日数据一致，判断没有问题。
4. 日线数据直接进行查询，数据不为1都为错误数据

# 需要校验的合约名称
# joinquant合约名称
jq_symbol = 'RB8888.XSGE'
# vnpy的合约名称
vt_symbol = 'RB8888'
symbol_df = jqdatasdk.get_price(jq_symbol, start_date='2010-01-01', end_date='2018-12-07', frequency='daily', fields=['open', 'close', 'high', 'low']) 
symbol_df = symbol_df.dropna()

vnpy与jqdata在合约命名上面有一定差异，所以使用两个不同名字。由于部分期货合约可能在2010年之后才上市，获取数据后需要进行dropna()的操作。

daily_error_list = []
minute_error_list = []
last_count = 0
symbol_df['next_trade_day'] = symbol_df.index
symbol_df['next_trade_day'] = symbol_df['next_trade_day'].shift(-1)
for index,row in symbol_df.iterrows():
    date = str(index)[:10].replace('-', '')
    print('开始校验数据：' + date)
    # 日线数据校验
#     print("校验日线数据")
    daybar_count = symbol_daily_db.find({"date":date}).count()
    if daybar_count != 1:
        print('日线数据错误：' + date + '当日数据量不符==>' + str(daybar_count) )
        daily_error_list.append(date)
    
    # 分钟线数据校验
#     print("校验分钟线数据")
    day_count = symbol_minute_db.find({"date":date}).count()
    if day_count == 0:
        print('分钟线数据错误：' + date + '当日数据量为0')
        minute_error_list.append(date)
        continue
    elif day_count != last_count:
        df = jqdatasdk.get_price(jq_symbol, start_date=str(index)[:10], end_date=row['next_trade_day'], frequency='minute', fields=['close'])
        if len(df) != day_count:
            print('分钟线数据错误：' + date + '当日数据量不符==>' + str(day_count) + ', 实际数量==>' + str(len(df)))
            minute_error_list.append(date)
            continue
        
    last_count = day_count

通过两个列表保存日线错误的数据与分钟线错误的数据。

jqdata提供了很好的数据支持，活跃的社区，提供了太多的帮助^_