python程序题求roc-auc是一种常用的模型评价指标_机器学习模型评估指标Python代码示例...

我们什么时候评估我们的机器学习模型呢?答案不是只有一次。通常，我们在实际的数据科学工作流中两次使用机器学习模型验证指标:

模型比较：为您的任务选择最佳机器学习（ML）模型模型改进：调整超参数为了更清楚地了解这两者之间的区别，让我通过机器学习（ML)实现的工作流程来解释。在为任务y设置所有特征X后，您可以准备多个机器学习模型作为候选。

那么你怎么才能最终为你的任务选择一个呢?是的，这是使用模型验证度量的第一点。Scikit-learn提供了一些快捷方法来比较模型，比如cross - validation。

在您选择了一个准确度最好的机器学习模型后，您将跳转到超参数调优部分，以提高精度和通用性。这里是您将使用这些度量的第二点。

在本文中，我试图制作机器学习模型评估指标的总结。

交叉验证用于模型比较

我们拆分数据的原因和方式的起点是泛化。因为我们构建机器学习模型的目标是使用未来未知数据的真实实现。因此，我们不需要过度拟合过去数据的无用模型。

Holdout 方法

交叉验证方法

K-Folds的视觉表示

cross_val_score：最简单的编码方法

我们可以通过参数“cv”来决定数据拆分的数量。通常5被认为是标准拆分数。

cross_validate：我推荐这个可自定义的

回归度量

在大多数情况下，我们使用R2或RMSE。

我将使用Boston House Price数据集。

模型1：线性回归

模型2：决策树回归

现在我们准备评估我们的两个机器学习模型并选择一个！

R2：决定系数

MSE：均方误差

>>> 23.873348..

RMSE：均方根误差

>>> 4.886036..

MAE：平均绝对误差

>>> 3.465279..

分类指标

分类问题：

一对一分类：例如付费用户或免费One vs. Rest分类：例如高级会员或付费或免费我将使用Iris数据集作为多类分类问题。

模型1：SVM

模型2：朴素贝叶斯

现在我们准备评估我们的两个模型并选择一个！

1.准确性：

2.精度：

3.召回或灵敏度：

>>> array([1. , 1. , 0.85714286]) # GNB

4. F分数：

>>> array([1. , 0.9375 , 0.92307692]) # GNB

5.混淆矩阵

6. ROC

如果你不使用OneVsRest Classifier，它不起作用......

现在我们将通过ROC Curve进行检查。

7. AUC：曲线下面积

>>> 0.913333... # auc

8.多类对数损失

这是一个概率。并且需要使用OneVsRestClassifier。

>>> 0.09970990582482485

聚类度量

基本上在真正的聚类任务中，（我的意思是无监督聚类），我们没有任何方法来测量准确度或精度，因为没有人知道。

然而，作为分类任务的过程，有时我们使用有监督的聚类来了解数据的特征。（在实际工作中也是如此。）

因此，我将快速介绍一些监督聚类的指标。

我只使用了Iris数据集中的特征来解决聚类问题。

作为聚类问题的代表模型，这次我使用了K-means。

现在，监督聚类的结果是在y_means中。

同质性得分，Completeness Score，V度量得分

附加：Python可视化