统计学习方法（李航）--1.1 统计学习 读书笔记

1.统计学习方法的特点

统计学习(statistical learning):关于计算机基于数据构建统计模型并运用模型对数据进行预测与分析的一门学科。又称为统计机器学习(statistical machine learning)。

主要特点：
（1） 以计算机及网络为平台，是建立在计算机及网络之上的。
（2） 以数据为研究对象，是数据驱动学科。
（3） 目的：对数据进行预测与分析。
（4） 以方法为中心，统计学习方法构建模型并应用模型进行预测与分析。
（5） 是概率论、统计学、信息论、计算机理论、最优化理论及计算机科学等 多个领域的交叉学科。
统计学习就是计算机系统通过运用数据及统计方法，提高系统性能的机器学习。现在人们提及机器学习时，往往指统计机器学习。

2.统计学习的对象

统计学习的对象就是数据。
数据包括存在于计算机及网络上的各种数字、文字、图像、音频、视频数据及它们的组合。

统计学习的前提：关于数据的基本假设还是同类数据具有一定的统计规律性。
同类数据：具有共同性质的数据。如英文文章、互联网网页、数据库库中的数据等。
统计规律性：可以用随机变量来描述数据中的特征，用概率分布描述数据的统计规律。

3．统计学习的目的

总目标：学习什么样的模型，如何学习模型，使得模型对数据进行准确的预测与分析，同时也要尽可能提高学习效率。

4.统计学习的方法

统计学习的方法：基于数据构建统计模型，运用统计模型对数据进行预测与分析。

本书主要讨论监督学习，这种情况下统计学习的方法可以概括如下：

独立同分布：任何时刻的取值都为随机变量，这些随机变量服从同一分布且相互独立。
同一分布指x1,x2有相同的分布形状、分布参数、分布律、概率密度函数、期望、方差等。如都服从正态分布。
互相独立指x1,x2互相不影响
统计学习方法包括模型的假设空间、模型的选择准则、模型学习的算法。称其为统计学习方法三要素：模型(model)、策略(strategy)、算法(algorithm)

实现统计学习算法的步骤：
（1） 得到一个有限的训练数据集合。
（2） 确定所有可能的模型的假设空间（学习模型的集合）。
（3） 确定模型选择的准则（学习的策略）。
（4） 实现求解最优模型的算法（学习的算法）。
（5） 通过学习方法选择最优模型。
（6） 利用学习的最优模型对新数据进行预测和分析。

5.统计学习的研究

6.统计学习的重要性

（1） 统计学习是处理海量数据的有效方法。
（2） 统计学习是计算机智能化的有效手段。
（3） 统计学习是计算机科学发展的一个重要组成部分。