【哈工大机器学习-期末考试回忆】

考完啦，开心。
希望老师能手下留情，我已经尽力把卷子写满了。

2021秋期末考试（大概题意）

​ 1.参数先验和参数正则化的关系，说说你的理解。参数正则化在机器学习中的作用。（6分）

​ 2.条件熵的定义和公式。说说你对条件熵的理解。在机器学习课程中有哪些地方运用到了条件熵，请举例说明。（8分）

​ 3.朴素贝叶斯假设了什么？如果满足一个分类器朴素贝叶斯，请问在最小错误概率的角度看，该分类器是不是最优的分类器，说 明理由。（8分）

​ 4.K-means和GMM都运用了EM算法求解，请你说说它们之间的相同点和不同的，并说说K-means和GMM算法的优势和劣势。 请写出GMM算法E步和M步的公式。（8分）

​ 5.在线性可分条件下，请给出SVM的目标函数和约束条件，并给出解的形式（用公式给出）。该问题本可以迭代求解，请说明， 为什么要使用对偶问题来求解本问题，有什么好处？（8分）

​ 6.GMM用EM算法求解时，会出现参数的协方差矩阵不可逆的现象，请说明这种现象出现的原因。并给出解决办法。（6分）

​ 7.逻辑回归是否是线性分类器？给出证明。（8分）

​ 8.机器学习中向量（函数）内积的应用举例（3个）。解释他们的意义。（8分）

是的，你没看错，这个是2019秋的原题。

哈工大2020秋机器学习期末试题

1.决策树 (8分)
(1)什么是互信息
(2)用互信息（信息增益）选择的目的是什么，能带来什么效果
(3)怎么防止过拟合？

2.贝叶斯决策 (8分)
(1) 对于样本x，其标签为0/1，若x真实标签为0，错误划分为1的损失为a， 若x真实标签为1，错误划分为0的损失为b， 求最优决策方法
(2)结合图画出来。

3.svm (8分)
(1)线性可分时的优化目标，约束条件
(2)线性不可分咋整
(3)支持向量的意义

4.机器学习的方法 (8分)
(1)机器学习估计参数模型的方法
(2)这些方法有什么不同
(3)这些方法什么时候趋于一致

5.逻辑回归 (7分)
(1)逻辑回归为什么优化函数使用条件分布log(Y|x)而不是联合分布log(x,Y)
(2)逻辑回归的推导

6.pca (8分)
(1)从信号重构角度推导pca
(2)怎么实现信号压缩

7.k-means (8分)
(1)k-means流程
(2)k-means目标函数
(3)k-means和em算法的不同

8.线性回归 (5分)
实验一是非线性回归，怎么将非线性回归变成线性回归

2019秋期末考试

1. 信息增益是什么？举例说明为什么信息增益好。决策树分界面是否是线性的，举例说明。
2. 最小错误概率下的最优分类方法并证明
3. 什么是过拟合，决策树、SVM怎么避免的过拟合。
4. 在第二题的分类方法下，假设类概率分布是伯努利分布，类条件概率分布是协方差相等的两个高斯分布。求分界面方程。求类后验概率。
5. 逻辑回归优化目标函数。在交叉熵的角度理解，交叉熵中的两个概率分布分别是什么。
6. PCA推导。PCA应用举例（2个）
7. GMM模型优化目标函数，（EM算法）主要步骤。在做实验时，协方差矩阵行列式为0原因，如何解决。
8. 在低维空间中线性不可分的样本，在高维空间中线性可分，为什么。举例，你做的实验中有无应用。（实验1）
9. 机器学习中内积的应用举例（3个）。解释他们的意义。