常见机器学习分类算法

Bayes贝叶斯分类法

基本思想

 　　对于给定的训练数据集，首先基于特征条件独立假设学习输入输出的联合概率分布；然后基于此模型，对于给定的输入$x$，利用贝叶斯定理求出后验概率。
 　　朴素贝叶斯法是典型的生成式学习方法：由训练数据学习联合概率分布$P(X,Y)$，然后求后验概率分布$P(X|Y)$，

监督学习方法可以分为生成方法和判别方法，分别得到生成模型和判别模型。
生成方法：学习的是联合概率分布，然后基于学习到的联合概率密度，利用条件概率公式作为预测。
判别方法：是直接学习模型的决策函数，或者直接学习到条件概率分布进行预测。

方法过程

---

 　　假设输入空间为n维向量的集合，输出空间为类标记集合。$X$为定义在输入空间上的随机向量，$Y$为定义在输出空间上的随机变量，$P(X,Y)$为$X$和$Y$的联合概率密度，训练数据集$T$由$P(X,Y)$独立同分布产生。

---

 　　朴素贝叶斯法认为数据集满足上述假设，于是通过训练数据集来学习得到联合概率分布$P(X,Y)$。
 　　联合概率密度公式：
$$P(X,Y)=P(X|Y)\ast P(Y)$$
因此只需求$P(Y)$：
$$P(Y=c_k),k=1,2,...K,c_k为类别标记$$
和$P(X|Y)$：
$$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},...,X^{(n)}=x^{(n)}|Y=c_k)$$

 　　其中条件概率$P(X=x|Y=c_k)$有指数级数量的参数，其实际估计是不可行的。若$x^{(j)}$可取的值有$S_j$个，Y可取的值有K个，那么参数的个数为$K{\prod }_{j=1}^n{S}_j$。参数数量过多导致无法求解。

独立假设

 　　因此，朴素贝叶斯法做了条件独立性的假设，即假设所有属性不相关。此时的参数个数变为$K{\sum }_{j=1}^n{S}_j$。这种假设使得朴素贝叶斯法的求解变的简单，但却会牺牲一定的正确率。

计算方法

 　　朴素贝叶斯分类时，将后验概率最大的类别作为$x$的类输出。后验概率；
$$P(Y=c_k|X=x)=\frac{P(X,Y)}{{\sum }_{k}P(X,Y)}=\frac{P(X=x|Y=c_k)}{{\sum }_{i}P(X=x|Y=c_i)}$$

 　　 　　 　　 　　 　　 　　 　　后验概率最大化等同于0-1损失下的期望风险最小化

参数估计

 　　极大似然估计：
 　　先验概率的极大似然估计为：
$$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N}$$
 　　条件概率的极大似然估计：
$$P(X^{(j)}=a_j|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_j,y_i=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_k)}$$

 　　贝叶斯估计：
 　　用极大似然估计可能会出现所要估计的概率值为0的情况。解决办法是使用贝叶斯估计，具体的先验概率为：
$$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)+\lambda }{N+K\lambda }$$
条件概率公式为：
$$P(X^{(j)}=a_j|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_j,y_i=c_k)+\lambda }{{\sum }_{i=1}^{N}I(y_i=c_k)+S_j\lambda }$$

$\lambda =1$时称为拉普拉斯平滑

优缺点

优点：

• 参数少，对缺失数据不敏感
• 有坚实数学基础和稳定的分类效率

缺点：

• 需要假设属性之间相互独立
• 需要知道先验概率
• 分类决策存在固有错误率

Decision Tree决策树

优点：

• 不需要任何领域知识或参数
• 适合高维数据
• 简单易理解
• 短时间内处理大量数据，得到可行性较好的结果
• 能同时处理数据型和常规型属性

缺点：

• 对于各类样本数量不一致的数据集，信息增益偏向于选择那些具有更多数值的属性
• 容易过拟合
• 忽略了属性间的相关性
• 不支持在线学习

Support Vector Mechine 支撑矢量机

优点：

• 可解决小样本下机器学习问题
• 提高泛华性能
• 可解决高维、非线性问题
• 避免了神经网络结构选择和局部极小的问题

缺点：

• 对于缺失数据敏感
• 对于内存消耗较大
• 运行和调参麻烦

K近邻

优点：

• 思想简单，理论纯属，可分类也可以回归
• 可用于非线性分类
• 时间复杂度O(n)
• 准确度高，对数据无假设，且对outlier不敏感

缺点：

• 计算量较大
• 对于样本分类不均衡的问题，会产生误判
• 需要大量内存

Logistic Regression逻辑回归

逻辑斯特分布

 　　设$X$为连续型随机变量，$X$服从逻辑斯特分布是指$X$具有下列分布函数和密度函数：
$$F(x)=P(X\le x)=\frac{1}{1+e^{-(x-\mu )/\gamma }}$$
$$f(x)=F^{\prime }(x)=\frac{e^{-(x-\mu )/\gamma }}{\gamma (1+e^{-(x-\mu )/\gamma }{)}^2}$$
其中，$\mu$为位置参数，$\gamma$为形状参数。

基本思想

 　　虽然名为回归模型，但实际是一种分类模型！！
根据训练数据集学习得到参数$w$和$b$，得到条件概率分布：
$$P(Y=1|x)=\frac{exp(wx+b)}{1+exp(wx+b)}$$
$$P(Y=0|x)=\frac{1}{1+exp(wx+b)}$$
 　　对于测试实例$x$，按照上面两个式子分别计算其属于两类的概率，将其分至概率较大的类别。
 　　其实质为被逻辑斯特方程归一化后的线性回归模型： 即在线性回归的基础上套了一个逻辑方程，所以实质上还是线性的映射；

参数估计

 　　对于给定训练数据集$T$，应用极大似然法估计模型参数，从而得到逻辑斯特回归模型，具体的：
设：
$$P(Y=1|x)=\pi (x)，P(Y=0|x)=1-\pi (x)$$
似然函数为：
$$\prod _{i=1}^N[\pi (x_i){]}^{y_i}[1-\pi (x_i){]}^{1-y_i}$$
对数似然函数为：
$$\begin{gathered} L(w)=\sum _{i=1}^N[y_i\log \pi (x_i)+(1-y_i)\log (1-\pi (x_i))] \\ =\sum _{i=1}^N[y_i(w{x}_i+b)-\log (1+exp(w{x}_i+b))] \end{gathered}$$
对$L(w)$求极大值，则可得到参数$w,b$的估计值。（梯度下降法或拟牛顿法）
优点：

• 速度快
• 原理简单易理解，可以直接看到各项特征的权重
• 模型更新容易，易于吸收新数据
• 可动态调整分类阈值

缺点：

• 特征处理复杂

逻辑回归常见面试问题

Nerual Network神经网络

优点：

• 分类准确率高
• 并行处理能力强
• 分布式存储和处理能力强
• 鲁棒性强，不易受噪声影响

缺点：

• 结果难以解释
• 需要大量参数
• 训练时间较长

Adaboosting

优点：

• 精确度高
• 可用各种方法构建子分类器，Adaboost提供的是一个框架
• 当使用简单分类器时，结果易于理解
• 无需筛选特征
• 不会过拟合

缺点：

• 对outlier敏感

---

未完待续！