机器学习部分知识点

1. MLE与MAP区别？

——两者都可以解决参数估计问题，都假定数据是独立同分布的。

        最大似然估计MLE是假定参数θ为一个常数，待求的θ满足argmax P(x|θ)。MLE容易出现过拟合，尤其是数据较少的时候，为此可以采取一定的数据平滑处理。

        最大后验估计MAP假定参数θ是一个变量，且服从一定的分布，往往会引入超参数，待求的θ满足argmax P(θ|x) = argmax P(θ) * P(x|θ)，即MLE中式子与先验概率的乘积。MAP相比MLE更加不容易出现过拟合，且对于不同的先验会给出不同的结果，当数据量足够大时先验概率的影响会逐渐减弱。

        特别的，当假设先验为正态分布时，logP(θ)与θ的2-范数是线性关系，因此带正则项的MLE可视为MAP。（参考MLE和MAP以及他们之间和正则的关系_weixin_41613259的博客-CSDN博客）

        此外，对MLE的平滑处理也可以看作一种MAP，这里先验分布取的是Beta分布（对于多分类问题则是狄利克雷分布）。

2. 什么是贝叶斯风险？

——贝叶斯判定准则：为最小化总体风险，只需在每个样本上选择使条件风险R(y|x)最小的类别标记，此时得到的分类器称为贝叶斯最优分类器，对应的总体风险称为贝叶斯风险。

3. 生成式模型与判别式模型区别？

——求解P(y|x)有两种思路：

        生成式模型直接求解联合概率（记忆方法——知道了联合概率就可以生成所有的概率，故称为生成式），如在独立同分布的假设下统计频率作为联合概率。

        生成式模型基本的思想是分别计算待预测样本属于各个类别的概率，取概率最大的类别作为预测结果。常见模型有朴素贝叶斯，K-means，混合高斯模型等。

        判别式模型直接从数据求解后验概率P(y|x)（记忆方法——不知道具体的分布情况，但给定数据可以判断属于哪类，故称判别式）。

        判别式模型的基本思想是直接计算条件概率，得到概率最大的类别。常见的模型如决策树、KNN、逻辑斯蒂回归等。

4. KNN为什么是非参、惰性的？

——KNN的基本思想是从训练样本找到与待预测数据最近的K个样本，选择其中数量最多的类别作为预测结果。非参是指KNN不事先对数据分布进行假定；惰性是指KNN几乎不需要对训练数据进行训练处理，只是简单的存起来，只在预测时计算一下距离。

5. 朴素贝叶斯如何处理连续的属性？

——朴素贝叶斯在“独立同分布”的假设下直接计算联合概率分布，用频数估计相应的概率。在独立同分布的假设下，类条件概率的计算方便了很多，如果没有这个假设，是不宜用频率直接进行估计的，因为样本空间往往比样本量大很多，极易导致过拟合。

        如果是连续的属性，可以对其均值和方差进行分类。

6. logistic回归的假设

——在公式推导中，假设各个维度是独立同分布，且给定标签yk下Xi的条件概率服从等方差的正态分布。但事实上，从最大熵的角度也可以进行推导，不要求各个维度独立。

        此外，如果是MAP，加入正则项的时候还会假设W是服从0均值的正态分布作为先验。

        logistic回归本质上还是个线性分类器，假定数据是线性可分的。