[搜索多样性] Managing Diversity in Airbnb Search (KDD'20)

Background

• Airbnb的搜索query通常是一系列条件，比如价格、roomtype、位置、capacity等（和常规理解的query不太一样）
• listings：airbnb的房源，对应在网页搜索就是网页，电商搜索就是item
• 之前的离线优化指标是NDCG（在线是orders），这个会导致结果缺乏多样性，尤其是对于一些热门的城市，top结果的价格、位置等都很相似。而且这个也是符合预期的，对于深度学习的模型来说，相似的item会有相似的score

Contribution

1. 定义了多样性指标，并且在指标中考虑了位置因素的影响 & 连续分布的距离计算方式
2. 相关性(pairwise)和多样性(based on distance)结合的loss
3. 模型中结合了listwise context和query context

Related Work

MMR：没考虑搜索位置的影响

α-NDCG：强依赖与subtopic relevance

多样性指标

对相关性指标和多样性指标进行了加权求和（权重是人工指定的）：

• 相关性指标：需要按位置衰减（衰减函数是按经验指定的），公式2中的左边这项
• 多样性指标：依赖于两个item之间的距离函数计算，每个item只和前面的item进行组对计算距离，距离函数有多种定义方式（详细见下文）

image.png

image.png

距离计算方法

1. 整体距离：每个item由一些特征组成的向量表示，包括价格、位置、人数等，类别类的特征用one-hot，数字类的特征需要归一。距离的计算公式paper中没写，可能就是特征的欧氏距离

image.png

2. location：通过挖掘的方式产出一个理想的位置分布（离散概率分布），使用Hellinger距离来计算最终top K结果和理想位置分布之间的距离

• 地理区域聚类：通过KD-Tree（一种适用于位置的聚类方法）对query的历史成交item进行聚类（文中叫bucket），最终的聚类效果是面积小的热门区域和面积大的郊区对应的item数量差不多。
• Hellinger距离：用来度量两个概率分布之间的相似性，对于离散概率分布来说，
  image.png

3. price：理想分布是正态分布，概率最大的一个bucket是通过简单的神经网络预测expected price Ep；给定Top K结果需要做归一，最小值和最大值通过人工指定的超参来控制，价格最小值 = α * Ep，价格最大值 = β * Ep

image.png

Methodology

1. Greedy Ranker：贪心算法，最大化MLR
2. Second Stage Location Diversity Ranker：模拟退火。先把根据default score排序的top K作为candidate，然后随机从candidate中选择一个item和其他item做替换，loss下降就接受，loss上升就以一定概率接受，

image.png

3. Combined Loss Function：在2的基础上修改loss，原因在于H距离的loss无法反向传播，无法在pair-wise的模型中计算。所以设计了一个替代loss，原理是：如果输入item集合中，某个bucket的item数量超过理想分布，就缩小该bucket的item的打分。文章没写具体公式。
4. Contextual Features：4和5的整体思路都是将精排之后的item list整体放入重排中来，因为一个item对于多样性的loss取决于整个list。4的方法是在原本的模型中增加人工的聚合特征，例如price/location/room type等特征的方差和均值
5. Query Context Embedding：把item序列用default score排序后，用LSTM编码，作为query context的一部分。具体后面query context embedding怎么应用到下游模型，文中没写。
   
   image.png

Experiment

image.png

image.png

Online实验效果说明

• Greedy Ranker：持平/略负，分析是过于多样性
• Second Stage Location Diversity Ranker: 正向，尤其是对于新用户，orders+1%，中国的用户+3.6%（之前的策略更倾向于城中心的，现在这个也有其他位置的item）
• Contextual Features: 持平，推测人工高级特征没有用
• Combined Loss Function: 持平，出现了一些极端价格，新用户orders降低比较多，推测是对于价格敏感的用户体验有伤害
• Query Context Embedding: 正向，online NDCG +1.2%, orders +0.44%, 新用户orders +0.61%。分析了不同价格档位的位置变动情况

image.png