机器学习算法常见概念

生成模型和判别模型

监督学习的结果是得到一个分类或预测模型，应用该模型可以对给定输入 X 得到相应的输出 Y ,即：

Y=f(X)

或者

P(Y|X)  (根据不同类对应的后验概率判断所属类别)

根据模型是否表示了 X 到 Y 的生成过程将模型分为两种，生成方式、判别方式。
生成模型

P(Y|X)=P(X,Y)P(X)

如朴素贝叶斯法、隐马尔科夫模型

判别模型直接由输入数据 X 学习判别函数 f(X) 或条件概率 P(Y|X) .如决策树、K近邻。。。
注：DBN、基于Denoise autoencoder的模型预训练都是生成式的，逐层BP、贪婪式的逐层BP预训练都是判别式的。（不理解）

优化算法

逻辑斯谛模型、最大熵模型、条件随机场都可以归结为目标函数为似然函数的最优化问题，其中目标函数是光滑的凸函数，能保证找到全局最优解。求解算法通常是迭代算法。

改进的迭代尺度算法

梯度下降算法

拟牛顿法

参考文献

1.Dong Yu, Li Deng,Automatic Speech Recognition A Deep Learning Approach