通过召回率看策略产品的工作

1.策略质量评估

1.1在全体对象中随机抽样

在后台随机抽取了200个query

1.2样本进入策略得到计算结果

策略识别为天气需求：36

1.3人工标注样本

天气需求：33

1.4对比：计算出召回率以及准确率

策略识别有误的案例数：7
策略识别正确的案例数：29

策略识别忽略的案例数：4

召回率 （代表策略对问题的解决程度）
= 希望被覆盖的案例中，策略实际覆盖到的案例 / 理想态下希望策略覆盖的案例
= 29 / 33 = 0.88%
准确率 （代表策略有没有带来其他伤害）
= 策略覆盖的案例中，真正希望被覆盖的 / 策略覆盖的所有案例
= 29 / 36 = 0.80

2.问题分析

2.1产品目的

能够准确解析query可能存在的用户需求，帮助下一步检索。

2.2存在问题

通过人工标注和随机抽样结果分析可得，识别策略存在的问题可以概括为：

系统识别出来，但是错了。query中都存在目标词，但是用户的搜索需求并非查找天气。集中出现两类问题：第一类是断句不当；第二类是需求理解判断不当。

case1：男朋友今天气死我了
这query中存在连续的“天气”一词，但是结合整个句子来看，明显是与“天气”没有联系。存在的问题是切词有误。正确切词方式为：男朋友/今天/气死我/了。
case2：爱上你的好天气
爱上你的好天气，这个query是一个完整的歌曲名称。根据搜索结果页的操作点击链接类型可以判断，对于该query，用户更大概率是要查找歌曲。

系统没有识别出来的query。这类case的特点是，没有出现明确的搜索关键词，但其实是通过侧面的描述，反映用户想要了解天气的需求。

case1：去华山需要准备什么衣服
用户没有直接搜索华山最近天气如何，但其实准备什么衣服与当时的天气关联度很大。
这类query存在明确的地点信息，有明确诉求如穿衣，衣服，并且一般是带疑问句性质。

2.3策略优化目标

1.优化存在明确类目词时，搜索词的解析规则；
2.把搜索结果点击操作反馈历史数据作为query分析的一个维度，让对需求的把握更准确。
3.优化query切词方案；

3.项目计划

3.1项目收益分析

3.2优先级排序

如上述分析，综合考虑问题的影响面，解决程度以及开发成本，方案2为优先级最高的项目，接下来是优化切词的方案，最后是搜索词解析规则优化项目。

4.需求文档

4.1背景

近期，接收到客服部门反映，用户对于当前搜索结果不太满意。为此，策略PM介入，通过阶段性调研以及抽样分析的方法，找出问题原因并提出优化方案。

4.2需求概述

改善目前系统对于搜索词的需求识别策略，提升query的召回率以及准确率。

4.3需求详述

需求1

问题：query中包含目标搜索词，但从整个query看，有权重更高的搜索结果。
解决方案：把搜索结果点击操作反馈历史数据作为query分析的一个维度。通过分析历史搜索结果数据，判断用户是要搜索整个query。

需求2

问题：中文分词，在不同颗粒度下能有不同的切词方式，对搜索结果的理解产生偏差。
解决方案：当query能产生多种颗粒度切词方式时，构建索引时使用细粒度的分词以保证召回，在查询的时候使用粗粒度的分词以保证精度。

需求3

问题：没有出现明确的搜索关键词，但其实是通过侧面的描述，反映用户想要了解天气的需求。
解决方案：在搜索词解析规则中，加入口语词汇作为标识。解析时，如遇到标识的口语词，则把query按照预设的规则进行转义操作。
困难：由于这项工作涉及大量的规则定义，在2周的开发期内不能保证完成，因此，这个需求的优先级较低，不纳入本次开发计划中。

4.4统计需求

核心指标：query召回率与准确率
观察方法：从系统中随机抽取200条数据，在优化后的策略系统中运算一次，把召回率与准确率与优化前作对比。