牛客网机器学习笔记(1)

1. SVM常用核函数：1）线性核函数；2）多项式核函数；3）径向基函数；4）Sigmoid核函数。

2. 生成式模型和判别式模型：

1）直接学习得到条件概率分布P(Y|X)或决策函数Y=f(X)的方法是判别方法，比如：感知机、K近邻、决策树、逻辑回归（区分度训练是逻辑回归中的知识）、支持向量机、条件随机场、提升方法、神经网络等。

2）首先学习联合分布概率P(X,Y)，从而求得条件概率分布P(Y|X)的方法是生成方法，如朴素贝叶斯、隐马尔科夫模型、混合高斯模型、K近邻、深度信念网络是生成方法。可以采用非监督方法学习生成模型，如用EM方法学习朴素贝叶斯模型和隐马尔科夫模型。

3. 常用的文本分类的特征选择算法：

1）DF(Document Frequency) 文档频率

DF:统计特征词出现的文档数量，用来衡量某个特征词的重要性

2） 互信息法；

3）信息增益法；

4）卡方检验法。

4. Apriori类算法包括： AprioriAll和 GSP等。

5. 机器学习做特征选择时，常用的方法有：

http://www.360doc.com/content/16/0312/10/18144428_541520906.shtml

6. 隐马尔可夫三个基本问题及对应的算法

1）评估问题：前向算法；2）解码算法：Viterbi算法；3）学习问题：Baum-Welch算法（向前向后算法）。

7. 基于核的机器学习算法有：

1）线性判别分析（高维映射到低维，设计非线性变换）；

2）支持向量机；

3）径向基函数。

8. 分支定界法做特征选择：

http://www.360doc.com/content/16/0312/10/18144428_541520906.shtml

9. 基于二次准则下的H-K算法较之于感知器算法的优点是：

适用于线性可分和线性不可分的情况。对于线性可分的情况，给出最优的权重矢量；对于线性不可分的情况，可以判别出来，以退出迭代的过程。