matlab数据挖掘技术与实践,量化投资——MATLAB数据挖掘技术与实践

篇基础篇

章绪论2

1.1量化投资与数据挖掘的关系2

1.1.1什么是量化投资2

1.1.2量化投资的特点3

1.1.3量化投资的核心——量化模型5

1.1.4量化模型的主要产生方法——数据挖掘7

1.2数据挖掘的概念和原理8

1.2.1什么是数据挖掘8

1.2.2数据挖掘的原理10

1.3数据挖掘在量化投资中的应用11

1.3.1宏观经济分析11

1.3.2估价13

1.3.3量化选股14

1.3.4量化择时14

篇基础篇

章绪论2

1.1量化投资与数据挖掘的关系2

1.1.1什么是量化投资2

1.1.2量化投资的特点3

1.1.3量化投资的核心——量化模型5

1.1.4量化模型的主要产生方法——数据挖掘7

1.2数据挖掘的概念和原理8

1.2.1什么是数据挖掘8

1.2.2数据挖掘的原理10

1.3数据挖掘在量化投资中的应用11

1.3.1宏观经济分析11

1.3.2估价13

1.3.3量化选股14

1.3.4量化择时14

1.3.5算法交易14

1.4本章小结15

参考文献16

第2章数据挖掘的内容、过程及工具17

2.1数据挖掘的内容17

2.1.1关联17

2.1.2回归19

2.1.3分类20

2.1.4聚类21

2.1.5预测22

2.1.6诊断23

2.2数据挖掘过程24

2.2.1数据挖掘过程概述24

2.2.2挖掘目标的定义25

2.2.3数据的准备26

2.2.4数据的探索28

2.2.5模型的建立29

2.2.6模型的评估33

2.2.7模型的部署35

2.3数据挖掘工具36

2.3.1MATLAB36

2.3.2SAS37

2.3.3SPSS38

2.3.4WEKA39

2.3.5R41

2.3.6工具的比较与选择42

2.4本章小结43

参考文献43

第3章MATLAB快速入门44

3.1MATLAB快速入门44

3.1.1MATLAB概要44

3.1.2MATLAB的功能45

3.1.3快速入门案例46

3.1.4入门后的提高55

3.2MATLAB常用技巧55

3.2.1常用标点的功能55

3.2.2常用操作指令56

3.2.3指令编辑操作键56

3.2.4MATLAB数据类型56

3.3MATLAB开发模式58

3.3.1命令行模式58

3.3.2脚本模式58

3.3.3面向对象模式58

3.3.4三种模式的配合58

3.4小结59

第二篇技术篇

第4章数据的准备63

4.1数据的收集63

4.1.1认识数据63

4.1.2数据挖掘的数据源64

4.1.3数据抽样65

4.1.4量化投资的数据源67

4.1.5从雅虎获取交易数据69

4.1.6从大智慧获取财务数据71

4.1.7从Wind中获取高质量数据73

4.2数据质量分析75

4.2.1数据质量分析的必要性75

4.2.2数据质量分析的目的75

4.2.3数据质量分析的内容76

4.2.4数据质量分析的方法76

4.2.5数据质量分析的结果及应用82

4.3数据预处理82

4.3.1为什么需要数据预处理82

4.3.2数据预处理的主要任务83

4.3.3数据清洗84

4.3.4数据集成88

4.3.5数据归约89

4.3.6数据变换90

4.4本章小结92

参考文献93

第5章数据的探索94

5.1衍生变量95

5.1.1衍生变量的定义95

5.1.2变量衍生的原则和方法96

5.1.3常用的股票衍生变量96

5.1.4评价型衍生变量101

5.1.5衍生变量数据收集与集成103

5.2数据的统计104

5.2.1基本描述性统计105

5.2.2分布描述性统计106

5.3数据可视化106

5.3.1基本可视化方法107

5.3.2数据分布形状可视化108

5.3.3数据关联情况可视化110

5.3.4数据分组可视化111

5.4样本选择113

5.4.1样本选择的方法113

5.4.2样本选择应用实例113

5.5数据降维116

5.5.1主成分分析(PCA)基本原理116

5.5.2PCA应用案例：企业综合实力排序118

5.5.3相关系数降维122

5.6本章小结123

参考文献123

第6章关联规则方法124

6.1关联规则概要124

6.1.1关联规则的提出背景124

6.1.2关联规则的基本概念125

6.1.3关联规则的分类127

6.1.4关联规则挖掘常用算法128

6.2Apriori算法128

6.2.1Apriori算法的基本思想128

6.2.2Apriori算法的步骤129

6.2.3Apriori算法的实例129

6.2.4Apriori算法的程序实现132

6.2.5Apriori算法的优缺点135

6.3FP-Growth算法136

6.3.1FP-Growth算法步骤136

6.3.2FP-Growth算法实例137

6.3.3FP-Growth算法的优缺点139

6.4应用实例：行业关联选股法139

6.5本章小结141

参考文献142

第7章数据回归方法143

7.1一元回归144

7.1.1一元线性回归144

7.1.2一元非线性回归148

7.1.3一元多项式回归153

7.2多元回归153

7.2.1多元线性回归153

7.2.2多元多项式回归157

7.3逐步归回160

7.3.1逐步回归的基本思想160

7.3.2逐步回归步骤161

7.3.3逐步回归的MATLAB方法162

7.4Logistic回归164

7.4.1Logistic模型164

7.4.2Logistic回归实例165

7.5应用实例：多因子选股模型的实现168

7.5.1多因子模型的基本思想168

7.5.2多因子模型的实现169

7.6本章小结172

参考文献172

第8章分类方法173

8.1分类方法概要173

8.1.1分类的概念173

8.1.2分类的原理174

8.1.3常用的分类方法175

8.2K-近邻(KNN)176

8.2.1K-近邻原理176

8.2.2K-近邻实例177

8.2.3K-近邻特点180

8.3贝叶斯分类181

8.3.1贝叶斯分类原理181

8.3.2朴素贝叶斯分类原理182

8.3.3朴素贝叶斯分类实例184

8.3.4朴素贝叶斯特点185

8.4神经网络185

8.4.1神经网络的原理185

8.4.2神经网络的实例188

8.4.3神经网络的特点188

8.5逻辑斯蒂(Logistic)189

8.5.1逻辑斯蒂的原理189

8.5.2逻辑斯蒂的实例189

8.5.3逻辑斯蒂的特点189

8.6判别分析190

8.6.1判别分析的原理190

8.6.2判别分析的实例191

8.6.3判别分析的特点191

8.7支持向量机(SVM)192

8.7.1SVM的基本思想192

8.7.2理论基础193

8.7.3支持向量机的实例196

8.7.4支持向量机的特点196

8.8决策树197

8.8.1决策树的基本概念197

8.8.2决策树的建构的步骤198

8.8.3决策树的实例201

8.8.4决策树的特点202

8.9分类的评判202

8.9.1正确率202

8.9.2ROC曲线204

8.10应用实例：分类选股法206

8.10.1案例背景206

8.10.2实现方法208

8.11延伸阅读：其他分类方法210

8.12本章小结211

参考文献211

第9章聚类方法212

9.1聚类方法概要212

9.1.1聚类的概念212

9.1.2类的度量方法214

9.1.3聚类方法的应用场景216

9.1.4聚类方法的分类217

9.2K-means方法217

9.2.1K-means的原理和步骤218

9.2.2K-means实例1：自主编程219

9.2.3K-means实例2：集成函数221

9.2.4K-means的特点224

9.3层次聚类225

9.3.1层次聚类的原理和步骤225

9.3.2层次聚类的实例227

9.3.3层次聚类的特点229

9.4神经网络聚类229

9.4.1神经网络聚类的原理和步骤229

9.4.2神经网络聚类的实例229

9.4.3神经网络聚类的特点230

9.5模糊C-均值(FCM)方法230

9.5.1FCM的原理和步骤230

9.5.2FCM的应用实例232

9.5.3FCM算法的特点233

9.6高斯混合聚类方法233

9.6.1高斯混合聚类的原理和步骤233

9.6.2高斯聚类的实例236

9.6.3高斯聚类的特点236

9.7类别数的确定方法237

9.7.1类别的原理237

9.7.2类别的实例238

9.8应用实例：股票聚类分池240

9.8.1聚类目标和数据描述240

9.8.2实现过程240

9.8.3结果及分析242

9.9延伸阅读244

9.9.1目前聚类分析研究的主要内容244

9.9.2SOM智能聚类算法245

9.10本章小结246

参考文献246

0章预测方法247

10.1预测方法概要247

10.1.1预测的概念247

10.1.2预测的基本原理248

10.1.3量化投资中预测的主要内容249

10.1.4预测的准确度评价及影响因素250

10.1.5常用的预测方法251

10.2灰色预测252

10.2.1灰色预测原理252

10.2.2灰色预测的实例254

10.3马尔科夫预测256

10.3.1马尔科夫预测的原理256

10.3.2马尔科夫过程的特性257

10.3.3马尔科夫预测的实例258

10.4应用实例：大盘走势预测262

10.4.1数据的选取及模型的建立263

10.4.2预测过程264

10.4.3预测结果与分析265

10.5本章小结265

参考文献267

1章诊断方法268

11.1离群点诊断概要268

11.1.1离群点诊断的定义268

11.1.2离群点诊断的作用269

11.1.3离群点诊断方法分类271

11.2基于统计的离群点诊断271

11.2.1理论基础271

11.2.2应用实例273

11.2.3优点与缺点275

11.3基于距离的离群点诊断275

11.3.1理论基础275

11.3.2应用实例276

11.3.3优点与缺点278

11.4基于密度的离群点挖掘278

11.4.1理论基础278

11.4.2应用实例279

11.4.3优点与缺点281

11.5基于聚类的离群点挖掘281

11.5.1理论基础281

11.5.2应用实例282

11.5.3优点与缺点284

11.6应用实例：离群点诊断量化择时284

11.7延伸阅读：新兴的离群点挖掘方法286

11.7.1基于关联的离群点挖掘286

11.7.2基于粗糙集的离群点挖掘286

11.7.3基于人工神经网络的离群点挖掘287

11.8本章小结287

参考文献288

2章时间序列方法289

12.1时间序列的基本概念289

12.1.1时间序列的定义289

12.1.2时间序列的组成因素290

12.1.3时间序列的分类291

12.1.4时间序列分析方法292

12.2平稳时间序列分析方法292

12.2.1移动平均法293

12.2.2指数平滑法294

12.3季节指数预测法295

12.3.1季节性水平模型295

12.3.2季节性趋势模型296

12.4时间序列模型296

12.4.1ARMA模型296

12.4.2ARIMA模型297

12.4.3ARCH模型298

12.4.4GARCH模型298

12.5应用实例：基于时间序列的股票预测299

12.6本章小结303

参考文献303

3章智能优化方法304

13.1智能优化方法概要305

13.1.1智能优化方法的概念305

13.1.2在量化投资中的作用305

13.1.3常用的智能优化方法305

13.2遗传算法307

13.2.1遗传算法的原理307

13.2.2遗传算法的步骤308

13.2.3遗传算法实例316

13.2.4遗传算法的特点317

13.3模拟退火算法318

13.3.1模拟退火算法的原理318

13.3.2模拟退火算法步骤320

13.3.3模拟退火算法实例323

13.3.4模拟退火算法的特点329

13.4应用实例：组合投资优化330

13.4.1问题描述330

13.4.2求解过程330

13.5延伸阅读：其他智能方法331

13.5.1粒子群算法331

13.5.2蚁群算法333

13.6本章小结334

参考文献335

第三篇实践篇

4章统计套利策略的挖掘与优化338

14.1统计套利策略概述338

14.1.1统计套利的定义338

14.1.2统计套利策略的基本思想338

14.1.3统计套利策略挖掘的方法339

14.2基本策略的挖掘340

14.2.1准备数据340

14.2.2探索交易策略340

14.2.3验证交易策略341

14.2.4选择的参数342

14.2.5参数扫描法345

14.2.6考虑交易费346

14.3高频交易策略及优化348

14.3.1高频交易的基本思想348

14.3.2高频交易的实现350

14.4多交易信号策略的组合及优化352

14.4.1多交易信号策略352

14.4.2交易信号的组合优化机理354

14.4.3交易信号的组合优化实现355

14.5本章小结358

参考文献358

5章配对交易策略的挖掘与实现360

15.1配对交易概述360

15.1.1配对交易的定义360

15.1.2配对交易的特点361

15.1.3配对选取步骤362

15.2协整检验的理论基础363

15.2.1协整关系的定义363

15.2.2EG两步协整检验法363

15.2.3Johansen协整检验法364

15.3配对交易的实现365

15.3.1协整检验的实现365

15.3.2配对交易函数367

15.3.3协整配对中的参数优化369

15.4延伸阅读：配对交易的三要素370

15.4.1配对交易的前提370

15.4.2配对交易的关键371

15.4.3配对交易的假设371

15.5本章小结371

参考文献372

6章基于Wind数据的程序化交易373

16.1程序化交易概述373

16.1.1程序化交易的定义373

16.1.2程序化交易的实现过程374

16.1.3程序化交易的分类376

16.2数据的处理及探索377

16.2.1获取股票日交易数据377

16.2.2计算指标381

16.2.3数据标准化388

16.2.4变量筛选389

16.3模型的建立及评估391

16.3.1股票预测的基本思想391

16.3.2模型的训练及评价392

16.4组合投资的优化394

16.4.1组合投资的理论基础394

16.4.2组合投资的实现398

16.5程序化交易的实施402

16.6本章小结403

参考文献404

7章基于Quantrader平台的量化投资405

17.1量化平台概述405

17.1.1量化平台现状405

17.1.2Quantrader量化平台的构成406

17.1.3Quantrader的工作流程407

17.2基于Quantrader平台的量化实现过程407

17.2.1获取交易数据408

17.2.2计算衍生变量410

17.2.3数据标准化410

17.2.4变量优选410

17.2.5训练模型411

17.2.6策略回测411

17.3延伸阅读：Quantrader平台的拓展412

8章基于数据挖掘技术的量化交易系统415

18.1交易系统概述416

18.1.1交易系统的定义416

18.1.2交易系统的作用416

18.2DM交易系统总体设计417

18.2.1系统目标417

18.2.2相关约定418

18.2.3系统结构418

18.3短期交易子系统419

18.3.1子系统功能描述419

18.3.2数据预处理模块419

18.3.3量化选股模块419

18.3.4策略回测模块420

18.4中长期交易子系统420

18.4.1子系统功能描述420

18.4.2导入数据模块421

18.4.3投资组合优化模块421

18.5系统的拓展与展望423

18.6本章小结423

参考文献424