省时查报告-专业、及时、全面的行研报告库
省时查方案-专业、及时、全面的营销策划方案库
本文对现有的推荐系统评价指标进行回顾,并对评价指标的优缺点以及适用环境进行总结。
推荐系统的评价可分为在线评价
和离线评价
两种方式:
在线评价
:根据用户在线实时反馈或事后问卷调查等结果来衡量推荐系统的表现。
离线评价
:根据模型在验证集的表现衡量推荐系统的质量。
目前常用的在线测试方法之一是A/B测试,核心思想和控制变量法类似,它的核心思想是:多个方案参与实验,每个方案只有一个变量不同。
推荐准确度是评价推荐算法最基本的指标。它衡量的是推荐算法在多大程度上能够准确预测用户对推荐商品的喜欢程度。可将准确度指标分为4类,即预测评分准确度、预测评分关联性、分类准确度和排序准确度。
MAE
MSE
Spearman
Pearson
Kendall’s Tau
AUC
F1
推荐结果的排序指标衡量的是排序结果有效的指标。排序准确度指标来度量算法得到的有序推荐列表和用户对商品排序的统一程度。
DCG
NDCG
Rank score
覆盖率指标是指算法向用户推荐的商品能覆盖全部商品的比例。覆盖率尤其适用于那些需要为用户找出所有感兴趣的商品的系统。
预测覆盖率:预测评分的商品占所有商品的比例
推荐覆盖率:为用户推荐的商品占所有商品的比例
种类覆盖率:为用户推荐的商品种类占全部种类的比例
多样性衡量推荐系统对不同用户推荐不同商品的能力,多样性体现在用户间的多样性和是用户内的多样性,可以用汉明距离衡量推荐下列表的相似度。
新颖性衡量推荐系统是向用户推荐非热门非流行商品的能力,最简单的 方法是利用推荐商品的平均度。平均度越小,新颖性就越高。
「 更多干货,更多收获 」
腾讯信息流推荐业务实践
联邦学习在腾讯微视广告投放中的实践机器学习在B站推荐系统的应用实践如何打造标准化的数据治理评估体系?
推荐系统架构与算法流程详解如何搭建一套个性化推荐系统?某视频APP推荐策略详细拆解(万字长文)
关注我们
智能推荐 个性化推荐技术与产品社区 |
长按并识别关注 |
一个「在看」,一段时光