02、VNPY 架构与量化策略实现——数据
2、数据
数据是金融量化和人工智能的根基，海量、稳定、高效。
2.1 分类
注意：
Tick 数据如下，每隔 500 ms，就会得到一次最新数据（只是 500ms 后那一时刻的数据，没有 500ms 之间产生的数据）
2.2 数据采集
实时采集、Tushare 使用、通联数据（datayes）、wind 数据、RiceQuant、淘宝购买数据、网站共享爬网。
2.2.1 实时采集
2.2.2 Tushare
Tushare 是一个免费、开源的 python 财经数据接口包。
VNPY 主要实现对股票等金融日线数据的处理，从数据采集、清洗加工到数据存储的过程。其支持的数据种类比较丰富，API 设计也是围绕着 pandas 来进行的。
Tushare 使用了通联的接口，通联有tick数据，但是需要付费，Tushare没有tick，只有分钟级别的数据。
Tushare 股票大部分使用新浪的数据。
import tushare as ts
df = ts.get_hist_data("600000") #一次性获取全部日k线数据
print(df.head(10))
2.2.3 通联数据（DataYes）
通联数据是国内目前最大的开放金融数据平台，整合了包括股票、基金、期货和港股方面的全品类金融数据。
Data API 返回HTTP JSON 和 CSV 格式数据，任何语言都可以直接调用 HTTP API，以获得数据。
参考：https://www.liaoxuefeng.com/wiki/1022910821149312/1105000713418592
接口：
getFutureTickRTIntraDay：获取一只期货在本清算日内某时间段的行情信息
getFutureBarRTIntraDay：获取当日期货分钟线
getMktFutd：期货日行情（主力以持仓计算）
import sys
sys.path.append("..")
from ctaAlgo.datayesClient import DatayesClient
def demo():
datayes_client = DatayesClient()
path = "api/market/getMktFutd.json"
params = {}
params['ticker'] = 'rb1705'
params['beginDate'] = '20170101'
params['endDate'] = '20170315'
result = datayes_client.downloadData(path, params)
print result
if __name__ == '__main__':
demo()
2.2.4 WIND 数据
·Wind Datafeed 服务：老牌、服务好、收费
·中国市场的精准金融数据服务供应商，为量化投资与各类金融业务系统提供准确、及时、完整的落地数据、内容涵盖股票、债券、基金、衍生品、指数、宏观行业等各类金融市场数据。
·python API：
w.wsd：获取历史序列数据
w.wsi：获取分钟数据
w.wst：获取日内 tick 级数据
w.wss：获取历史界面数据（针对股票为主）
w.wsq：获取和订阅实时行情数据（需要指定回调函数）
目前，python API 只能在 windows 平台使用。
2.2.5 RICEQUANT
RiceQuant 是一家提供在线回测的量化科技公司，推出了 RQData 和 RQAlpha。
·RQData ：提供所有的远程数据。（基于 python3）
·RQAlpha：本地运行策略，更安全，数据可以是RQData，也可以是本地数据。
RQDataC，供用户本地快速调用远程数据。
2.3 数据处理
如何有效的清洗、处理数据？
2.4 数据存储与服务
参考：
https://www.bilibili.com/video/BV1yJ411u7WG?from=search&seid=2047786539449537546