周志华机器学习--绪论

周志华机器学习–绪论

第一章 绪论
第二章 模型评估与选择
第三章 线性模型
第四章 决策树
第五章 支持向量机
第六章 神经网络
第七章 贝叶斯分类器
第八章 集成学习和聚类

---

---

前言

此笔记是根据周志华老师在学堂在线的课程而整理的，可配合西瓜书一起学习。就如老师所说，第一次学习应该观其大略，之后再进行深入的探索。希望这次的学习能对机器学习有所入门。

---

一、基本术语

hypothesis就是学习到的模型，一个可能的规律

机器学习一般都有独立同分布的假设，不然机器学习不能利用概率统计进行估计，尽管现实任务不一定是独立同分布。所以如何突破此假设是机器学习正在解决的一个问题。

二、归纳偏好

*奥卡姆剃刀：若非必要，勿增实体。当所有的理论都能解释现象，那么就选择最简单的。
e.g. A的阶数更低，更平滑，更简单，所以A优于B

当然也取决于数据的类型，如果数据是比较多变的，那么可能B优于A

三、NFL定理

NFL：no free lunch

NFL定理的重要前提：所有“问题”出现的机会相同、或有所问题同等重要