周志华《机器学习》读书笔记--第一章 绪论

附上西瓜书解读–南瓜书
南瓜书 Pumpkin-book

写读书笔记之前说说自己的心理感受：关于机器学习其实在研一的时候由于好奇，和同学去旁听计算机专业选修课，当时那个老师上的就是机器学习，印象里偏神经网络多一些。记得当时，每次都在黑板上手推公式，虽然觉得自己考研的时候高数、线代、概率论还算学的可以，但经不住那么多公式。我只知道当时真没听懂，当时那个老师推荐的课本也是这个书。我曾经试着去看，结果看了几页就放弃了，觉得里面的公式晦涩难懂，跟自己之前学的数学一点都不一样，很别扭。但这次看了，而且还看进去了，虽然前后就花了半个月吧，大概看了两遍，程度只能说是，对于里面每个算法的公式大概能知道个一知半解。但如果问自己，特征选择有哪几个方式，每个方式的原理是什么？我只能这么回答：有三种方式，过滤式、包裹式和嵌入式。但关于具体的原理，emmmm… 所以想在这整理一下自己的想法，来提醒一下自己。虽然网上的大神们整理得比我好很多，但还是想自己亲手过一遍，加深自己的理解。同时，想说一句，这种啃自己之前最不敢啃的书的感觉真好…(希望秋招能有好的结果[双手合十]~)
好啦好啦，开始正文吧…
第一章主要是关于一些基础概念的介绍，主要有：

学习算法–在计算机上从数据中产生“模型(model)”的算法；
(模型–从数据中学得的结果(本书)，有的文献中 “模型”–全局性结果，“模式”–局部性结果)
示例–关于一个事件或对象的描述，数据集中的每条记录(特征向量)；
属性值(特征)–反映事件或对象在某方面表现或性质的事项；
训练数据–训练过程中使用的数据(训练样本、训练集)；
假设–学得模型对应了关于数据的某种潜在的规律(真相、真实)；
标记–关于示例结果的信息；
样例–拥有标记信息的示例；
连续–回归；离散–分类；
泛化能力–学得模型适用于新样本的能力；
通常假设样本空间的全部样本服从一个未知分布D，获得的每个样本都是独立地从这个分布上采样获得的，即**“独立同分布”**；
版本空间–可能有多个假设与训练集一致，即存在着一个与训练集一致的“假设集合”；
归纳偏好–机器学习算法在学习过程中对某种类型假设的偏好；
奥卡姆剃刀(Occam’s razor)–“若有多个假设与观察一致，则选最简单的那个”；

算法的归纳偏好是否与问题本身匹配，大多数时候直接决定了算法能否取得好的性能。

No Free Lunch Theorem(NFL定理)：所有算法的期望性能相同。
前提：所有“问题”出现的机会相同，或所有问题同等重要。
证明：



第一章的主要内容比较简单，但属于基础内容，尤其基本的符号表示和概念，对后面的基本算法学习都很有用，所以也需要重视~
总的来说，看完全书的感觉就是，范围很广，内容很多，但是深度不够，作为自己的入门教材，嘻嘻嘻！希望自己下一步可以手推公式，或者找几个项目，自己练练，更扎实一点~