统计学习方法(1)

看了李航的统计学习方法( http://book.douban.com/subject/10590856/)

极粗略的看了前五章。

第2章，感知机，主要思想是计算出一个超平面把(可分类的)训练数据做分类。算法是随机选一个分界超平面，用已标注的训练数据逐渐做调整，有一个学习率的参数做调整。

第3章，K-NN。具体实现采用kd树的数据结构。

第4章，朴素贝叶斯，用先验概率和条件概率做分类依据。简化高效，性能不高。

第5章，决策树。用信息增益和信息增益比做分类依据。
ID3选取最大的信息增益的一类特征，用阈值卡一下，然后递归进行。
C4.5和ID3很像，用的是信息增益比。
有决策树的剪枝算法
CART算法比较复杂，回归树、分类树、决策树... 还没有看太细。

第6章，逻辑斯谛分布 http://en.wikipedia.org/wiki/Logistic_distribution这个真心不懂，慢慢看书...