【22-23 春学期】AI作业2-监督学习

1. 结构风险最小化：结构风险最小化是在训练数据集上最小化模型的结构风险，也就是使用限制条件来防止模型过拟合的情况。

2. 正则化：正则化可以帮助模型有效防止过拟合的情况，它做的是在损失函数中添加一些惩罚项，以限制模型中可以学习的参数，从而使模型更为简单，并且更加稳定。

3. 线性回归：线性回归使用一个或多个自变量来预测一个因变量，其假设模型是线性关系，即因变量的值与自变量的线性关系。

4. 逻辑斯蒂回归：逻辑斯蒂回归是一种统计分类方法，它使用自变量来预测定性响应变量。在此过程中，它利用了一个称为逻辑函数的似然函数，来表示输出观测值的可能性。

5. Sigmoid 与 SoftMax 函数：Sigmoid 函数是一种特殊的 S 形函数，它将输入值映射到0到1之间的值，而 SoftMax 函数则是一种多分类器，用于将输入向量映射到概率分布序列。

6. 决策树：决策树可以用于基于规则的分类，也可以用于确定如何有效地实现某些操作。它使用一系列条件（称为决策节点）来确定最优的输出。

7. 信息熵 条件熵 信息增益：信息熵是一种度量信息量的概念，它用来衡量样本空间的不确定性。条件熵是在给定条件下熵的一种度量，它可用来计算条件条件间的相关性。而信息增益则是一种用来评估划分质量的度量，它可以用来选择最佳的特征划分。

8. 线性判别分析 LDA：线性判别分析LDA是监督学习算法，可以从数据中学习类别之间的分布，然后从新数据中预测类别。

9. 概率近似正确 PAC：概率近似正确PAC用来评估一个算法是否能在给定条件下正确工作，同时具有有限的误差和计算复杂性。

10. 自适应提升 AdaBoost：自适应提升AdaBoost是一个分类算法，它使用弱学习器的组合，来构建一个强大的机器学习模型，它的工作方式是前一个弱学习器来修正后一个弱学习器的错误。