机器学习：监督学习各方法特点及适用情况

今天是属于程序员的节日，所以笔者便写篇博客记录最近所学。笔者最近在学习传统的机器学习方法，目前在看的主要是监督学习，总结如下：

一、感知机

感知机是二类分类的线性分类模型（即适用于二类分类），其输入为实例的特征向量，输出为实例的类别，取值为+1和-1二值。感知机的模型特点是分离超平面，属于判别模型。学习策略是极小化误分点到超平面的距离，利用梯度下降法对损失函数进行极小化。该算法具有简单而易于实现的优点。

二、K近邻法

K近邻（KNN）是一种基本分类与回归方法，输入为实例的特征向量，对应于特征空间的店，输出为实例的类别。适用于多类分类或回归问题。KNN不具有显示的学习过程，实际上是利用训练数据对特征向量空间进行划分，并作为分类的判别模型。KNN的三个基本要素：k值得选择、距离度量以及分类决策规则。

三、朴素贝叶斯法

朴素贝叶斯法是基于贝叶斯理论定理与特征条件独立假设的分类方法。朴素贝叶斯法适用于多类分类问题，其模型特点是特征与模型的联合概率分布以及条件独立假设。该模型属于生成模型，学习策略采用极大似然估计和最大后验概率估计，损失函数是对数似然损失。朴素贝叶斯法实现简单，学习与预测的效率都很高。

四、决策树

决策树是一种基本分类与回归方法，适用于多类分类和回归问题。决策树的模型属于判别模型，模型特点是分类树和回归树，学习策略是正则化的极大似然估计，损失函数是对数似然损失，学习算法是特征选择、生产、剪枝。决策树的主要优点是模型具有可读性，分类速度很快。

五、逻辑斯蒂回归与最大熵模型

逻辑斯蒂回归是统计学中的经典分类方法最大熵是概率模型学习的一个准则，推广到分类问题得到最大熵模型。逻辑斯蒂回归与最大熵模型都属于对数线性模型，也是判别模型中的一种。该模型适用于多类分类问题，其模型特点是特征与模型的联合概率分布以及对数线性模型，学习策略采用极大似然估计和正则化的极大似然估计，损失函数是逻辑斯蒂损失。其学习算法有改进的迭代尺度算法、梯度下降以及拟牛顿法。

六、支持向量机

支持向量机（SVM）是一种二类分类模型，适用于二类分类问题。该模型属于判别模型，学习策略是极小化正则化合页损失和软间隔最大化，损失函数是合页损失，学习算法采用序列最小最优化算法（SMO）。

SVM有三种：当训练数据线性可分时，通过硬间隔最大化学习一个线性分类器，称为硬间隔支持向量机；当训练数据近似可分时，通过软间隔最大化，称为软间隔支持向量机；当训练数据线性不可分时，使用核技巧将数据映射到更高维空间，再使用软间隔最大化，称为非线性支持向量机。

七、提升方法（AdaBoost）

提升方法应用于分类问题时，通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类性能。提升方法适用于二类分类问题，也属于判别模型，学习策略是极小化加法模型的指数损失，损失函数是指数损失，学习算法是前向分步加法算法。

提升方法总比较具有代表性的是AdaBoost。其做法就是提高那些被前一轮弱分类器误分类样本的权值，而降低那些被正确分类样本的权值。而对于弱分类器的组合，AdaBoost采取加权多数表决的方法。

八、隐马尔可夫模型

隐马尔可夫模型（HMM）是可用于标注问题的统计学习模型，描述有隐藏的马尔可夫链随机生成观测序列的过程，属于生成模型。隐马尔可夫模型适用于语音识别、自然语言处理、生物信息、模式识别等领域。学习策略采用极大似然估计和最大后验概率估计，损失函数是对数似然损失，学习算法包括概率计算公式和EM算法。

九、条件随机场

条件随机场（CRF）是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型，其特点是假设输出随机变量构成马尔可夫随机场。条件随机场适用于不同的预测问题，比如标注问题。CRF属于判别模型，学习策略包括极大似然估计和正则化极大似然估计，损失函数是对数损失似然函数，方法采用改进的迭代尺度算法、梯度下降算法和拟牛顿法。

总结

感知机、KNN、朴素贝叶斯、决策树、逻辑斯蒂回归与最大熵模型、SVM、提升方法是分类方法。隐马尔可夫模型、条件随机场是标注方法。感知机、KNN、朴素贝叶斯、决策树具有模型直观、方法简单、实现容易等特点。逻辑斯蒂回归与最大熵模型、SVM、提升方法是更复杂但更有效的分类方法，往往分类的准确率更高。隐马尔可夫模型、条件随机场是主要的标注方法，通常条件随机场的准确率更高。