10种主要的统计学习方法总结

《统计学习方法》笔记


1.感知机

适用问题:二分类问题

模型特点:分离超平面

模型类型:判别模型

学习策略:极小化误分类点到超平面距离

学习的损失函数:误分类点到超平面距离

学习算法:随机梯度下降法


2.k近邻

适用问题:多类分类,回归

模型特点:特征空间,样本点

模型类型:判别模型


3.朴素贝叶斯法

适用问题:多类分类

模型特点:特征与类别的联合概率分布、条件独立假设

模型类型:生成模型

学习策略:极大似然估计,极大后验概率估计

学习的损失函数:对数似然损失

学习算法:概率计算公式,EM算法


4.决策树

适用问题:多类分类,回归

模型特点:分类树,回归树

模型类型:判别模型

学习策略:正则化的极大似然估计

学习的损失函数:对数似然损失

学习算法:特征选择,生成,剪枝


5.逻辑回归与最大熵模型

适用问题:多类分类

模型特点:特征条件下类别的条件概率分布,对数线性模型

模型类型:判别类型

学习策略:极大似然估计,正则化的极大似然估计

学习的损失函数:逻辑损失

学习算法:改进的迭代尺度算法,梯度下降,拟牛顿法


6.支持向量机

适用问题:二分类问题

模型特点:分离超平面,核技巧

模型类型:判别模型

学习策略:极小化正则化合页函数,软间隔最大化

学习的损失函数:合页损失

学习算法:序列最小优化算法(SMO)


7.提升方法

适用问题:二分类

模型特点:弱分类器的线性组合

模型类型:判别模型

学习策略:极小化加法模型的指数损失

学习的损失函数:指数损失

学习算法:前向分布加法算法


8.EM算法

适用问题:概率模型估计参数

模型特点:含隐变量概率模型

学习策略:极大似然估计,极大后验概率估计

学习的损失函数:对数似然损失

学习算法:迭代算法


9.隐马尔科夫模型

适用问题:标注

模型特点:观测序列与状态序列的联合概率分布模型

模型类型:生成模型

学习策略:极大似然估计,极大后验概率估计

学习的损失函数:对数似然损失

学习算法:概率计算公式,EM算法


10.条件随机场

适用问题:标注

模型特点:状态序列条件下观察序列的条件概率分布,对数线性模型

模型类型:判别模型

学习策略:极大似然估计,正则化极大似然估计

学习的损失函数:对数似然损失

学习算法:改进的迭代尺度算法,梯度下降,拟牛顿法

你可能感兴趣的:(10种主要的统计学习方法总结)