机器学习复习（下）
严正声明：本文的答案是ChatGPT的回答，仅供参考，不代表就是正确答案！！！
9.什么是泛化误差和经验误差，是不是越小越好?为什么?
经验误差指的是模型在训练数据集上的误差，而泛化误差则是模型在新数据上的误差。
在训练过程中，我们通常会使用训练数据集来拟合模型，并通过经验误差来评估模型的拟合效果，希望能够得到一个具有较低经验误差的模型。但是，这并不一定意味着模型能够在新数据上表现得好，因为模型可能会出现过拟合的情况。
/*过拟合指的是模型在训练集上表现非常好，但是在测试集上表现较差的情况。当模型过于关注训练集中的噪声或个别样本时，就容易导致模型出现过拟合的问题，这时模型的泛化能力就会受到影响，泛化误差就会变大。
因此，我们要同时考虑经验误差和泛化误差，以确保模型的泛化能力良好。在实际应用中，我们通常会将数据集划分为训练集和测试集，通过评估模型在测试集上的泛化误差来选择最优的模型。*/
我们希望经验误差和泛化误差都要尽可能小，因为模型的主要目标就是能够在新数据上表现得好，而不仅仅只是对训练数据进行拟合。
但是，有时为了降低泛化误差而增加模型的复杂度或修改算法，可能会导致经验误差略微增大。因此，我们需要在两者之间寻求一个平衡点。
10.决策树生成的基本流程，其三个停止条件式什么?
决策树是一种基本的分类和回归方法，它通过对数据集进行递归划分来构建一个树形结构，每个节点表示一个属性，每个叶子结点表示一个类别或者一个数值。
决策树生成的基本流程如下：
1. 选择最优特征：从所有特征中选择一个最优特征作为节点的特征，使得该特征能够最大化地区分样本。
2. 划分数据集：根据最优特征对数据集进行划分，将具有相同特征的数据划分到同一个子节点下。
3. 递归构建子树：对于划分后的每个子集，重复执行步骤1和步骤2，直到满足停止条件。
停止条件通常有以下三个：
1. 所有样本属于同一类别：当所有样本属于同一类别时，不需要继续划分，直接将该样本作为叶子节点即可。
2. 所有特征已经使用完毕：当所有特征都已经使用完毕时，无法再进行划分，直接将当前样本中出现次数最多的类别作为叶子节点即可。
3. 子集中样本数量过少：当子集中的样本数量过少时，无法进行准确的分类，此时可以停止分裂，将样本数量最多的类别作为叶子节点。
在实际应用中，还可以通过设置决策树的最大深度或者最小样本数等参数来控制决策树的生成过程和规模，以防止过拟合。
11．聚类算法的两大性能度量指标是什么?其简单举例说明
聚类算法是一种无监督学习算法，它通过将数据集中的样本分成不同的簇来描述数据集的结构和特征。聚类算法的两大性能度量指标是内部质量度量和外部质量度量。
1. 内部质量度量：内部质量度量是用于评估聚类结果与真实结果之间的相似程度。常见的内部质量度量包括轮廓系数、Davies-Bouldin指数和Calinski-Harabasz指数等。
轮廓系数（Silhouette Coefficient）用于评估同一簇内的数据点的紧密度和不同簇之间的分离程度。其取值范围在-1到1之间，值越大表示聚类效果越好。
举例说明：对于样本x，轮廓系数计算如下：(b-a)/max(a,b)，其中a表示x与同簇其他样本的平均距离，b表示x与与簇外最近的样本的平均距离。
2. 外部质量度量：外部质量度量是用于评估聚类结果与已知真实结果之间的相似程度。常见的外部质量度量包括Rand指数和Jaccard系数等。
Rand指数用于比较聚类结果和真实标签之间的相似性。其取值范围在0到1之间，值越大表示聚类效果越好。
举例说明：假设样本集中有100个数据点，其中有70个数据点被正确地归为同一簇，另外30个数据点被错误地归为同一簇，则Rand指数计算如下：(70+30)/（C 100 2），其中C 100 2表示从100个样本中选取两个的组合数。
总的来说，内部质量度量和外部质量度量是用于评估聚类算法效果的重要指标，它们能够帮助我们选择最佳的聚类算法和调整聚类算法的参数。
12.以PCA为例，维度个数的选定有几种方式?
PCA是一种常用的降维技术，它将高维数据转换到低维空间中，从而在保留尽可能多的原始信息的同时，减少了模型的复杂度和存储空间的开销。维度个数的选定通常有以下几种方式：
1. 方差解释率：选取前k个主成分，使得它们的方差解释率之和达到预先设定的阈值，例如95%或99%等。这种方式可以保留大部分原始信息，并减少数据的冗余。
2. 满足特定应用需求：在实际应用中，我们可能需要对数据进行特定的处理或者建立特定的模型，因此需要选取与应用需求相关的主成分个数。例如，在图像识别领域，我们可以选择保留足够多的主成分来提取图像的关键特征。
3. Scree plot：Scree plot是一种可视化方法，它将主成分的编号与其对应的方差值作为坐标轴，画出一条折线，通过观察折线的形态来确定合适的主成分个数。具体来说，我们可以找到折线变化最为显著的位置作为主成分个数的界限。
4. 累积贡献率：累积贡献率是指前k个主成分的方差解释率之和， 是一种评估模型表现的方式。如果累积贡献率大于预设阈值，我们就可以将前k个主成分作为降维后的特征。
不同的选定方式具有不同的优缺点，并且在实际应用中需要根据具体情况选择合适的方法。
13．简单描述下PCA算法流程。
PCA（Principal Component Analysis）主成分分析是一种基础的降维算法，可以将高维数据压缩到低维空间中。其流程通常包括以下几个步骤：
1. 数据预处理：对原始数据进行中心化处理（即减去均值），使得各维特征之间的量级相同。
2. 求协方差矩阵：计算特征集合的协方差矩阵。协方差矩阵描述了特征向量之间的相关性，是PCA算法的重要基础。
3. 特征值分解：对协方差矩阵进行特征值分解，得到特征值和相应的特征向量。
4. 特征向量排序：按照特征值从大到小的顺序对特征向量进行排序，选择前k个特征向量组成一个新的k维特征子空间，其中k是我们需要降维的目标维度。
5. 生成降维后的特征数据：将原始数据映射到这个k维的新特征空间中，得到一个新的低维数据集。
需要注意的是，PCA算法通常需要使用一些现有库或框架来实现具体的计算过程，这些库中已经封装好了PCA算法中的各项计算和优化操作，使得整个流程更加高效和易于使用。同时，在进行PCA降维时，需要根据具体问题选择合适的维度个数和特征子空间，以保证在不同场景下的最佳性能表现。
14．降维和特征选择的相同和不同之处?
降维和特征选择都是常见的特征工程方法，它们在数据预处理中起到了重要的作用，但二者的主要思路和目标不同。
相同之处：
1. 都可以对高维数据进行处理，减少特征数量和数据维度，提高计算效率和模型表现。
2. 都可以通过筛选特征变量，去除那些与目标变量相关性低的或者冗余的特征，从而提取更具有代表性的特征子集。
3. 都可以有效地解决数据过拟合和噪声干扰等问题，提高模型的泛化能力和鲁棒性。
不同之处：
1. 目标不同：降维的目标是在保留尽可能多的原始信息（例如方差、协方差等）的情况下，将高维数据转换到低维空间中；而特征选择的目标则是找到与目标变量相关性高的特征，排除与目标变量相关性低的或者冗余的特征。
2. 方法不同：降维通常采用主成分分析（PCA）或线性判别分析（LDA）等数学方法来实现特征空间变换和投影操作；而特征选择则可以采用基于过滤、包装和嵌入等不同策略的算法，如卡方检验、互信息、递归特征消除等方法进行特征选择。
3. 结果不同：降维通常会生成包含原始数据所有变量的新特征子集，但特征的重要程度已经发生了变化；而特征选择会生成一个包含部分特征变量的新特征子集，在模型建立的过程中直接使用这些被选出的特征变量。
总体上，降维和特征选择是两种不同的特征工程方法，各自适用于不同的场景和问题，实际应用时需要根据具体情况进行选择。
15.(计算题)提供一个西瓜数据集，使用ID3方法计算首个属性节点。
16.(计算题)提供一个混淆矩阵，让学生计算查准率和查全率
如果考试挂科，并不负任何挂科责任！！！
最终解释权归isxhyeah所有！！！