史上最强使用AUC指标人：疯狂发文，教你使用

很多人都在玩抖音，并且越玩越嗨，究其根源就是抖音根据个人爱好进行的精准视频推荐，那么问题来了，精准度怎么测试呢? 其实精准度就是一个概率值，并且像抖音这样的推荐系统通常是使用人工智能分类算法实现的，而分类算法有个AUC指标可以很好的衡量概率值的大小评测是否合适。本文就通过两步来介绍怎样通过分类算法的AUC指标来评测类似抖音推荐系统的推荐精准度。

一、第一步了解TPR与FPR指标

目标

了解TPR与FPR的定义以及作用

步骤

1.了解AI模型分类算法的4个关键定义

TP:抖音推荐的视频确实是用户想要的视频

TN:抖音没推荐的视频确实是用户不想要的视频

FP:抖音推荐的视频是用户不想要的视频

FN:抖音没推荐的视频是用户想要的视频

2.了解TPR和FPR的公式

TPR = TP / (TP + FN) FPR = FP / (FP + TN) 3.TPF和FPR的作用

分别用于衡量推荐精准度图形的横纵坐标

二、第二步了解SOC以及AUC

目标

掌握SOC、AUC的定义以及作用

步骤

1.SOC曲线图的定义

ROC曲线的横轴就是上面提到的FPR，纵轴就是上面提到的TPR，其图形如下图蓝色线段所示：

越接近于左上角表示衡量的概率值越合理

2.AUC指标

• AUC的概率意义是随机取一对用户喜欢的视频和用户不喜欢的抖音视频，将用户喜欢的视频优先于用户不喜欢的视频进行推送的概率值，因此这个值越大越好

• 从几何意义上看AUC就代表SOC曲线的面积。代表了系统将用户喜欢的视频按照概率值从大大小进行排序的分类能力，因此AUC可以很好的衡量公司开发的推荐系统推荐的概率值也就是精准度是否合理

总结

本文以抖音为例提出了怎样测试推荐系统推荐的精准性，从界面上是看不出来哪个视频推荐给用户的概率值应该是更高的，而通过实现推荐系统的分类算法自带的AUC指标进行衡量可以很好的评测这个概率值，同时这个概率值的评测往往也是推荐系统的测试重点和难点。