零基础入门AI量化交易学习笔记

1. 量化基础

1.1 量化投资理解

• 量化投资就是借助统计学、数学的方法，运用计算机等工具，从海量历史数据中寻找能够带来超额收益的多种“大概率”策略，并纪律严明地按照这些策略所构建的数量化模型来指导投资，力求取得稳定的、可持续的、高于市场平均的超额回报。
• 量化投资与传统投资的区别
  • 传统投资：经验判断（中医，望闻问切）
  • 量化投资：统计规律（西医，仪器测量）
  • 传统投资的投资经验、投资理念用数量化的工具实现，就是量化投资
  • 传统投资并不是量化投资的对立面，主观交易才是量化投资的对立面
  • 量化投资是投资从艺术走向科学的必经之路
  • 量化投资的代表人物：詹姆斯.西蒙思 ，1989-2008年年均收益33%，大帐超越巴菲特、索罗斯等人，充分说明量化投资的先进性

1.2 量化交易策略

• 量化投资的优势

  1. 纪律性：严格执行投资策略。不随投资者情绪的变化而随意变更，可以克服人性弱点，如贪婪、恐惧、侥幸心理，也可以克服认知偏差。
  2. 及时性：及时跟踪市场变化。不断发现能够提供超额收益的新的统计模型，寻找新的交易机会。
  3. 系统性：通过多层次的量化模型多角度去观察及海量数据的处理，捕捉大量投资机会。
     1. 多层次，大类资产配置、品种选择、精选种类
     2. 多角度，宏观周期、市场结构、估值、成长、盈利质量、分析师盈利预测、市场情绪等。
     3. 多数据，海量数据的处理。
  4. 准确性：准确客观评价交易机会，克服主观情绪偏差，从而盈利
  5. 分散化：充当分散化投资的工具。
     1. 从历史中挖掘未来重复的历史规律，且这些历史规律都是较大概率取胜的策略。
     2. 依靠筛选出股票组合来取胜，是捕捉大概率获胜的股票，而不是押宝到单个股票。

• 量化投资的流程

  1. 数据获取：完整、可靠、规范的数据，使得最终的分析和研究结论是正确的、可靠的
  2. 回测：构建交易策略并在历史数据中进行撮合成交，并得到收益率曲线，以便进行回测验证。
  3. 模拟交易：策略通过回测验证后，一般不会直接实盘，而是通过模拟交易进一步验证策略。
  4. 实盘交易：交易执行需要考虑资产管理、订单管理、风控管理。

• 什么是回测？

  • 回测就是用量化策略对过去指定时间段进行模拟交易，从而得到的收益以及净值变化情况。进行回测是量化投资的一个重要特征。
  1. 以挑选优质策略、淘汰劣质策略为核心目的。
  2. 为量化策略进入实盘交易提供一定的依据的作用，只是判断量化策略好坏的第一个门槛。
  3. 过往绩效并不能代表未来，宏观经济、市场制度、市场结构、投资者投资水平，科学技术发展等一系列因素的不断演变。

• 量化交易策略有哪些？（只考虑股票市场）

  1. 多因子模型
  2. 趋势交易
  3. 统计套利
  4. 算法交易
  5. 价值选股
  6. 择时研究
  7. 事件驱动
  8. 日内策略
  9. 技术分析

• 回测中常见的陷阱

  1. 未来函数：当前时间点获取到了该时间点之后的信息
  2. 过拟合：拟合过度，会学习和记忆噪音数据，在未来很容易失效
  3. 幸存者偏差
  4. 交易费用的低估：在回测中，对交易费用的计算低于实际情况，使得策略收益虚高
  5. 冲击成本的忽略：交易本身会引起市场变化，带来冲击成本，尤其资金量比较大时，冲击成本的考虑更应该严谨
  6. 小样本视角：数量量小，分析结论普适性不强
  7. 偷价漏价：在一定时间点上按照价格的最高价和最低价撮合（这在实盘中是不切实际的）

• 策略评估：指的是我们应该采用一种客观统一的衡量标准，来评价哪些策略好，哪些策略不好。

  • 当我们对策略进行回测，得到资金曲线，那怎么评价这条资金曲线的好坏？
  • 资金曲线：按照固定的策略进行投资后，把每天结束后的净值画出来连成线，就成了资金曲线。
  • 评价策略最通用的一个指标：夏普比率。它不仅考虑了收益，也考虑了风险。代表的是经风险调整后的收益 。

1.3 量化平台概述

• 量化平台，指的是传统量化策略开发平台，也是策略回测工具

• 量化策略，分为传统量化策略和AI量化策略

• 量化平台的主要目的是进行回测验证，是策略想法的快速验证工具。国内量化平台大都是借鉴Quantopian ，QuantStart

• 传统量化策略特点

  1. 数据对接：行情数据、财务数据、基本面数据，数据规模小
  2. 策略开发：依赖研究员自身的行业经验和专业知识
  3. 数据计算：主要在回测环节，对计算资源要求不高

• 传统量化投资的痛点

  1. 周期漫长：策略从生产、回测、验证、上线，研究人员往往需要数周甚至数月的时间来挖掘和评介新的因子，基于因子开发策略周期较长
  2. 策略同质化：绝大部分策略研究过程只使用价量数据和财务数据，采用被市场广泛使用的因子，策略同质化程度高
  3. 收益瓶颈：使用传统数据建模算法只能捕获数据之间线性关系，研究方法的局部视野导致无法从海量数据中挖掘更多投资机会，策略收益存在瓶颈。
  4. 流程复杂、精力分散：研究人员无法聚焦在策略研究上，在工具、底层框架、编码实现上花费不少时间，策略开发效率低。

• 传统量化平台运行逻辑
  

  1. 有限的人力资源无法处理海量数据
  2. 人脑在策略构建中没有得到充分解放
  3. 仅凭回测功能无法提高投研效率

• AI量化平台运行逻辑
  

  1. 海量数据挖掘和优质策略开发
  2. 涵盖数据搜集、处理、分析等提高投研效率
  3. 解放人脑，专注策略研究

1.4 AI量化概览

• AI 赋能投资场景
  • StockRanker 排序模型，可以对全市场的股票按照未来一定时间段的收益率进行排序，排序的依据主要是股票的行情数据和财务数据（因子）
  • 深度学习的应用 DNN ，全连接深度神经网络。借助DNN算法，可以对股票因子和收益率之间的相关关系进行挖掘，找到其中蕴含的关系。一般这种关系非常复杂，是非线性的。
  • 机器学习算法，能自动从数据中挖掘因子，构建非常复杂的策略。其中GP遗传算法是比较有代表性的一个算法
  • CNN 卷积神经网络

2. AI量化

2.1 AI量化简介

• AI量化将机器学习、深度学习、强化学习为代表的AI技术应用在量化投资领域，是在智能投资时代下的科学投资方式。

  • 投资1.0，依赖于交易员的主观经验
  • 投资2.0， 理论投资（有效市场假说，基本面分析，技术面分析等）
  • 投资3.0，量化投资（随着计算机的发展，通过历史数据进行模拟，得到策略的回测结果）
  • 投资4.0，智能投资（AI量化，模型自动从海量的数据中去寻找规律，量化研究不再局限于研究员）
  • 3.0 和 4.0 最大的区别在于，前者以人为主导，后者以机器学习算法为主导

• AI 在证券投资中的应用背景

  • 量化投资是机器学习的天然应用场景，证券投资对AI的应用有强烈的需求，并提供了天然的土壤。

• 人工智能的发展和应用依赖于

  1. 大数据：海量数据让统计规律可提炼
  2. 算法：深度学习等算法的发展支持去寻找复杂的投资模式
  3. 大算力：可以遍历几乎所有的投资模式
     
     从上图可以看到，传统策略开发周期比较长，而且只能发现部分的投资机会。而AI量化投资策略开发周期较短，将传统量化投资数周到数月的开发周期缩短到数天甚至数分钟，这就大大提高了策略的研发效率。从效果和质量上也有一个提升。因为AI量化借助算法，在海量的数据中进行自动挖掘，可以发现更多的常人难以挖掘的投资机会

• AI量化发展面临的新趋势

  • 策略研究广度日益提升
    1. NLP应用的日趋融合，舆情、新闻、电商、文本等大数据被应用
    2. 收益的追求不再局限于对有效因子进行挖掘，同时提高策略广度（Breadth)
  • 策略研究周期尺度日益精细
    1. 利用算法自动从数据中挖掘更多有价值因子
    2. 高频数据对于策略研究和投资交易重要性不断提升
  • AI算法日益多样化，性能日益提升
    1. 机器学习，深度学习、强化学习等AI算法应用在量化投资领域
    2. 模型在线推理有更高的频率和时效性

2.2 如何开启AI量化

• 最快的途径：BigQuant 人工智能量化平台 进行策略研究，无门槛使用AI做更好的量化投资

• 股票、期货、期权、基金、美股、港股

• 在算法上，BigQuant支持主流机器学习、深度学习框架：Keras、Tensorflow、Sklearn…还提供针对股票市场的专有选股排序模型Stockranker。在算力上，BigQuant提供比本机更强大的计算资源，而且配置比较灵活。

• AI量化课程体系主要包括这三部分

  1. 复现（基础编程知识，AI量化策略构建流程）
  2. 在模板策略的基础上进行创新和调整（修改参数、算法、交易逻辑）
  3. 理解（介绍因子研究体系，深度学习、机器学习最佳实践，帮助大家深刻理解策略，评估策略，理解策略的收益和风险）

• 编程语言选择 Python

  • 量化交易员痛点

    1. 商业软件大多收费高昂，性价比低
    2. 商业软件存在太多功能方面的限制
    3. C++/Java 学习曲线陡峭
    4. 使用C++语言的用户开发效率低下
    5. 使用者在代码工程实践上花费大量时间

  • python 的解决方案

    1. 作为开源软件，Python 几乎完全免费
    2. 有大量的开源第三方库，在数据挖掘、机器学习领域有大量的开源模块
    3. 拥有接近伪代码的开源项目和活跃的开源社区
    4. 使用者将时间精力聚焦在业务逻辑上

  • Python和金融的不解之缘

    1. JP Morgan银行是全球最大的银行之一
    2. 作为Enthought公司的早期客户，JP Morgan 为 Numpy等项目的发展提供了巨大的帮助
    3. 08年后其lt架构全面转向使用Python语言开发逻辑，C++/Java 仅用于实现性能需求较高的模块底层代码
    4. 开发了Athena交易和风险管理系统，构建了一套基于Python的金融模型快速开发环境。

  • NumPy, pandas 两个非常有用的函数包

• 宽客是可以实现财务自由的一个职业选择，成为一名宽客：

  • 不需要背景
  • 不需要资历
  • 不需要人脉
  • 不需要关系
  • 只需要努力

2.3 金融基础知识

• 股票投资概述

  • 股票的定义

    • 股票(stock)是股份公司发行的所有权凭证，是股票公司为筹集资金而发行给各个股东作为持股凭证并借以取得股息和红利的一种有价证券。每股股票都代表股东对企业拥有一个基本单位的所有权。每家上市公司都会发行股票。
    • 按照股票的上市地点和所面对的投资者划分
      1. A股：人民币普通股票。它是由我国境内的公司发行，供境内机构、组织或个人（不含台、港、澳投资者）以人民币认购和交易的普通股股票。
      2. B股：是指那些主要生产或者经营等核心业务在中国大陆、但是在新加坡交易所上市挂牌的企业股票。
      3. H股：也称为人民币特种股票。是指那些在中国大陆注册、在中国大陆上市的特种股票。以人民币标明面值，只能以外币认购和交易。
      4. S股：是指那些在中国大陆注册、在纽约上市的外资股。
      5. N股：也称为国企股，是指国有企业在香港上市的股票。

  • 股票市场

    • 股票市场是股票发行和交易的场所。按照证券进入市场的顺序而形成的结构关系来划分：
      • 一级市场：筹集资金的公司将其新发行的股票销售给最初购买者的金融市场。
      • 二级市场：对已发行的证券进行买卖、转让和流通的市场。

  • 股票代码

    • 沪市A股 600
    • 深市A股 000
    • 中小企业版 002
    • 创业版 300

  • 股票价格指数

    • 股票价格指数就是用以反映整个股票市场上各种股票市场价格的总体水平及其变动情况的指标。简称为股票指数。比如：上证指数，创业版指，上证50 等。通过加权平均价格计算出价格指数。

3. AI量化平台

3.1 AI量化平台概览

• 传统量化策略开发平台-策略回测工具化
  • 回测验证，是策略想法快速验证工具（传统平台：Quantopian,QuantStart)
  • 特点：
    • 数据对接：价量数据、基本面数据，数据规模小
    • 策略开发：依赖研究员自身的行业经验和专业知识
    • 数据计算：主要在回测环节，算力要求小
  • 传统量化平台发展瓶颈
    1. 有限的人力资源无法处理海量数据
    2. 人脑在策略构建中没有得到充分释放
    3. 仅凭回测功能无法提高投研效率
  • AI量化平台运行逻辑
    1. 海量数据挖掘和优质策略开发
    2. 涵盖数据搜集、处理、分析等提高投研效率
    3. 解放人脑，专注策略研究而不是数据
  • AI 在量化投资中的应用
    • 量化投资是机器学习的天然应用场景，量化投资对AI的应用有强烈的需求，并提供了天然的土壤。
      • 大数据-海量数据使得统计规律可提练
      • 大算力-可以遍历几乎所有的投资模式
      • 算法-深度学习等算法的发展支持寻找复杂的投资模式
    • 机器学习的先决条件：
      • 算法寻找隐含模式
      • 算力实现遍历搜索
      • 海量的数据支持
    • 量化投资的现实问题：
      • 价格趋势的关键因素无法简单表达
      • 有限的人力资源无法遍历大量的投资模式
      • 金融市场存在海量的数据规模

3.2 AI量化策略开发平台-BigQuant

• 全球最大的AI量化开发社区，有10W+开发者在平台开发并研讨AI量化策略，拥有完整的学院教程和文档说明，覆盖了数据研究、AI策略构建和回测、模拟交易以及实盘对接的AI量化投资全生命周期。
• 功能模块列表

  • 数据输入输出

  • 特征抽取

  • 数据标注

  • 机器学习

  • 深度学习

  • 超参搜索

  • 滚动训练

  • 并行运算

  • 模块自定义

  • 单因子分析

  • 收益风险归因

  • 交易引擎回测

4. BigQuant 平台实操

• 策略天梯
• 策略商城
• 可以看到别人开发的策略。优秀的策略会放到策略商城供别人订阅，通过分享策略来实现收益

4.1 可视化环境BigStudio

4.2 BigStudio 及 notebook 实操

4.3 可视化模块

4.4 可视化模块实操

• m2.data.read() 可以读取到模块运行的结果

4.5 模块化工作流创建

• 模块的创建
  • BigStudio 内置了很多功能模块，可以在模块导航栏中通过模块名称搜索或通过下拉列表直接浏览。