《李航.统计学习方法》学习笔记——第1章 统计学习方法概论

1、写在前面的话

从今天开始，准备重新学习一下，李航老师的《统计学习方法》一书（江湖人称“蓝宝书”）。我将重点整理每一章中重要的小节，详细的内容还是要啃书本。自己才疏学浅，有些理解不到位或者错误的地方，还请大家指证。相互之间多交流，利用好这个平台。

2、监督学习

机器学习主要包括监督学习、非监督学习、半监督学习、强化学习四类，我们平时做的大部分都是监督学习。而在监督学习中，研究最多的就是分类问题，比如二分类、多分类问题。回归问题更多是进行数据分析，比如房地产数据预测、股票市场预测等。

2.1基本概念

• 输入空间（input space）：输入的数据集合。
• 输出空间（output space）：输出的数据集合。
• 特征空间（feature space）：所有的特征向量存在的空间。
  【注】：特征向量（feature vector）：在数学上，特别是线性代数中，对于一个给定的方阵 $A$，它的特征向量（eigenvector，也译固有向量或本征向量） $v$ 经过这个线性变换之后，得到的新向量仍然与原来的 $v$ 保持在同一条直线上，但其长度或方向也许会改变。即

$$Av=\lambda v$$
$\lambda$ 为标量，即特征向量的长度在该线性变换下缩放的比例，称 $\lambda$ 为其特征值（本征值）。

• 几何解释：$j$和$k$是两个基矢量，还有一个矢量$v$，此时$v$左乘一个矩阵$A$，如第二个图所示。

看上去没有什么特殊之处，此时调整下$v$ 的方向，图像看上去有点特殊了，如下图所示，

可以观察到，调整后的$v$和$A$$v$在同一条直线上，只是$A$$v$相对$v$的长度变长了。此时，我们称$v$是$A$$v$的特征向量，而$A$$v$的长度是$\lambda$的倍，$\lambda$就是特征值。即满足上述定义式：
$$Av=\lambda v$$

3、统计学习方法的三要素

2.1模型

2.2策略

2.3算法

（未完，待更新…）