哈工大2021年机器学习期末考试

前几题都是抄的原题，后面几题太长了，就写了个大概。

1， 请说明参数正则化和参数先验之间的联系；并解释在机器学习模型参数估计中用正则化的目的是什么。（6分）

2. 请给出条件熵的定义。并举一本课程应用该方法的例子（应该是一本课程，不是一本例子）。说明这样做的好处是什么。给出你的直观解释。（8分）

3. 朴素贝叶斯模型的基本假设是什么？这样的假设会带来什么样的好处。如果在实际应用中该假设满足，则朴素贝叶斯是出错概率意义下的最优分类器吗？请说明为什么？（8分）

（这题没有原题目了，只有我记的草稿了，题目太长了）

4. K-means和GMM在EM算法中的相同点和不同点。K-means和GMM的优势和劣势。GMM中E步更新的公式和M步最大化的期望公式。（8分）

5. 线性可分的SVM的目标函数与约束条件，并给出解的形式（数学公式）。在SVM中，可以对目标和约束直接优化求解，但我们使用了对偶优化，这样做的好处是什么。（8分）

6. EM算法中优化GMM时会出现协方差矩阵不可逆的情况。这种情况出现的原因一般是什么？如果出现的话，你是如何解决的。（6分）

（两个GMM？）

7. 逻辑回归的分离器是否是线性分离器。如果是，证明；如果不是，说明为什么。

8. 向量（函数）内积在机器学习课程中使用的三个例子。并描述出现的形式，给出自己的理解。（8分）

19届计算机学长就这样了，听说20届超级卷，加油吧。不过这个卷子竟有19年的原题，说不定明年就是2020的？不过PCA不考属实不明白了，而且考的很刁钻，我还看了很久的PCA。退钱！！！