人工智能期末复习笔记2018-01-13

第四章 机器学习

“如果一个系统能够通过执行某个过程改进它的性能，这就是学习”——西蒙
现在的机器学习方法主要是统计机器学习。机器学习可以按以下分类：监督学习、非监督学习、半监督学习、强化学习。
主要内容：

• Naive Bayes 朴素贝叶斯
• SVM SMO
• 决策树（ID3：按信息增益最大 ；C4.5：按信息增益比最大；决策树剪枝）

朴素贝叶斯

根据贝叶斯法则推出的最简单的分类器。求已知x的情况下，标签为c_k的条件概率。然后选择条件概率最大的c_k，作为x的标签，实现对x的分类。

一般情况下，x是一个向量。这时候P（x｜c）就有指数数量的参数，不好求取。在贝叶斯分类器里面，假设x的每一个元素都是独立的，从而有：

P（x｜c）＝P（x_1｜c）P（x_2｜c）...P（x_n｜c）

得到贝叶斯分类器：
y=arg max_ck P(ck)P(x|c)

在计算条件概率P(x|c)的时候，有时分母会为0，这时候可以引入平滑方法。其中最简单的方法是Laplace平滑。（上打公式太不方便了，看课件吧）

支持向量机SVM

支持向量机是一个二分类器。分为线性可分支持向量机、线性支持向量机和非线性支持向量机。
线性和非线性可以统一。非线性实际上就是线性的加一个映射。
SVM的推导是，将原问题转化成一个求条件极值问题，并用拉格朗日乘子法求条件极值。公式太复杂了就不在这里写了。
这个地方很有可能会考一个手算题，毕竟课上那个例题算起来也不算很难，不过要细心。