产品整体评测

指标一：GSB、低质结果下降比例、优质结果提升比例、DCG（离线主观指标）

场景：整个搜索产品层面的大迭代

1、数据准备

1）构建标注数据集：根据TPM序列按照一定比例进行数据抽取
2）每个query给出一个整体的GSB标注，这是与迭代前进行对比给出的，另外需要标注每个query下5条结果的打分（-2到2之间）

2、低质结果下降计算公式

分子：X1+X2-（Y1+Y2）
分母：原来结果为-1和-2的总和
-2 → -1，0，1，2，无结果 值为X1
-1 → 0，1，2，无结果 值为X2
无结果，-1，0，1，2 → -2 值为Y1
无结果，0，1，2 → -1 值为Y2

3、优质结果提升计算公式

分子：X1+X2-（Y1+Y2）
分母：原来结果为1和2的总和
0，-1，-2，无结果 → 1 值为X1
1，0，-1，-2，无结果 → 2 值为X2
1 → 0，-1，-2，无结果 值为Y1
2→ 1，0，-1，-2，无结果 值为Y2
4、
DCG指标
计算方式
1）每个query搜索结果有5个等级的评判标准，(-2，-1，0，1，2)，其中-2代表相关性很差，2代表相关性很好；
2）搜索结果位置越靠前，重要程度越高，第i个位置的重要程度为1/log2(i+1)；
3）某个query搜索的前5条结果进行评判打分，乘以重要程度因子，求和得到该query在策略A最终产生的效益；
例如：对于query=“人工智能”，在内搜上进行搜索，得到的前5条结果进行打分

image.png

最终sum=1.19就是其中一个query的得分，然后将所有的query得分相加取均值，这样便得到两个策略下的相关性结果，该值越大，说明结果内容越相关，搜索效果越好。

指标二：点击率等（在线客观指标）

搜索PV：web端、pc端、wise端
搜索UV：web端、pc端、wise端
整体点击率：有点击行为/PV（一次搜索中有多次点击行为，分子为多次N）
普通结果点击率：分母和上面一样，分子只统计普通结果的点击
首条结果点击率：分母和上面一样，分子只统计首条结果的点击
平均尾点位置：每一个有点击行为的PV下面，所有的点击行为取最后一次的点击index位置，然后再将所有的index取和，分母为 有点击行为的PV总数
换query率：大前提是30s之内的query搜索间隔；
7个连续的中文字符（英文连续的话算一个字符），其中前面的query是后面query的真子集，算一次换query行为；
前面的query字符在后面的query里面的覆盖率超过50%，也算是一次换query行为；
翻页率：翻页的行为总数/所有的PV总数（一次搜索pv中只要有一次翻页行为就算1，多次翻页行为也算1）
特型召回率：有特型卡片召回的query数量/用户搜索的所有query数量
特型点击率：有特型卡片召回并进行点击的数量/有特型卡片召回的query数量（目前1次搜索行为中发生多次点击，分子是所有的点击数N）