机器学习西瓜书 学习笔记（一）— 绪论

开始学ML了！第一次用CSDN写blog，聊以自娱，也算是监督和动力叭

基本概念

【机器学习】 研究如何通过计算的手段，利用经验来改善系统自身的性能（研究对象：学习算法）
(【统计学习】是一套以理解数据为目的的庞大工具集)
【学习算法】 在计算机上从数据中产生模型的算法 $\mathcal{L}$
【模型 / 学习器】 从数据中学得的结果（全局性or局部性）

【数据集】记录的集合 D = { x₁, x₂, …, x_m }
【示例 / 样本 / 特征向量】 关于一个事件或对象的描述（记录）- 通常假设每个样本iid分布 x_i = ( x_i1, x_i2, …, x_id ) (青绿，蜷缩，浊响）
【属性 / 特征】 反映事件或对象在某方面的表现或性质的事项 色泽
【属性值】 属性的取值 x_ij 乌黑
【属性空间 / 样本空间 / 输入空间】 属性张成的空间 $\chi$ (色泽，根蒂，敲声)
【标记】 关于示例结果的信息 y_i 好瓜
【标记空间 / 输出空间】所有标记的集合 ${\rm Y}$ = { y₁, y₂, …, y_n } {好瓜，坏瓜}
【样例】 拥有了标记信息的示例 ( x_i , y_i ) （(青绿，蜷缩，浊响），好瓜）
【训练数据-训练集】 & 【测试数据-测试集】

【泛化能力】学得模型适用于新样本的能力 —> 【归纳学习】
【归纳】泛化过程 【演绎】特化过程
【假设空间】所有假设组成的空间 好瓜 <-> (色泽=?) /\ (根蒂=?) /\ (敲声=?) （ps：通配符*）
【版本空间 / 假设集合】与训练集一致的假设集合
【归纳偏好】算法在学习过程中对某种类型假设的偏好

• 奥卡姆剃刀 若有多个假设与观察一致，则选最简单的那个
• NFL定理（没有免费的午餐） 机器学习的总误差与学习算法无关
  前提：所有问题同等重要 / 所有问题出现机会相同
  另：下述证明默认使用“分类错误率”作为性能度量来对分类器进行评估，可换成其他性能度量$l({\sum }_{f}l(h(\mathbf{x}),f(\mathbf{x}))=\frac{1}{2}{2}^{|\chi |}(l(h(\mathbf{x})=f(\mathbf{x}))+l(h(\mathbf{x})\ne f(\mathbf{x})))$
  数学推导
  

机器学习分类	特点	主要算法	用途
监督式学习	有标记信息	分类（二分类or多分类 - 离散）、回归（连续）	面向预测的统计模型的建立；对一个或多个给定的输入(input) 估计某个输出(output)
非监督式学习	没有标记信息	聚类	学习数据的关系和结构

---

发展历程

• 20世纪80年代，“从样例中学习”的一大主流师符号主义学习，其代表包括决策树和基于逻辑学习。
• 20世纪90年代中期之前，“从样例中学习”的另一主流技术是基于神经网络的连接主义学习。
• 20世纪90年代中期, “统计学习（statistical learning）”闪亮登场并迅速占据主流舞台，代表技术是支持向量机（Support Vector Machine,简称SVM）以及更一般的“核方法”（kernel methods）
• 21世纪初，连接主义卷土重来，掀起了以“深度学习”为名的热潮。深度学习的前身是连接主义学习