搜索相关

搜索技术

理解用户
理解意图
理解文档
理解场景

query分析

• 检索
  纠错，同义归一，丢词
• 排序
  重要度，紧密度，同义词，时效，意图分类
• 展示
  纠错，摘要，同义词，丢词，相关推荐

词的粒度

原词：北邮游泳馆
专有名词粒度：北邮羽毛球馆
基本粒度：北邮 羽毛球馆
细粒度：北邮 羽毛球 馆
多粒度：北邮 羽毛 球馆
拓展粒度：球

词的成分

北京邮电大学老食堂餐厅3楼好吃土豆

• 北京（城市）
• 邮电大学（地标）
• 老食堂餐厅（店名）
• 3楼（位置）
• 好吃土豆（菜名）

词表，CRF，句法分析，模板

query改写

• 同义词
• CWM：�Click � Weight � Model � �
• NHM：Ngram � Hit � Model �

query挖掘

• 是否被浏览
• 是否被点击
• 是否有吸引力
• 文档对用户吸引力

Doc分析

Doc分析 - 标签

• 标签分类
• 标签分级（权重）

Doc分析 - UGC

情感分析

User分析

• 用户基础标签
  • 基本信息：性别，年龄，消费水平
  • POI信息：常住地，活动商圈
• 用户特定领域标签

知识图谱

关键词对齐

关键词对齐的目标是得到query和知识库的对齐信息，便于解码时找相应的词语。

• 编辑距离
• 命名习惯
• 垂直领域内容
• 同义词表
• 词向量

查询分析

业务识别

查询串 -> 标签类别 -> 有编码的属性进行解码（店名->Id）

查询分析流程

1. 归一化，分词
2. 业务识别
3. 实体识别
4. 查询改写：
   • 同义词
   • 上下位词：父类词，子类词扩充
   • 去词改写：留下核心词
   • 相似改写：周杰伦和昆凌的例子
5. 语义扩展
6. 意图识别：
   • 商家，位置，行业，产品&服务
   • 每个意图都对应着某些类别的标签
7. 召回策略
8. 排序

搜索引导

• 默认词
• 热词
• 历史搜索
• 查询纠错
• 泛词引导 - 搜索地点，推荐用户喜欢的品类关键字
• 相关搜索
• POI推荐

热词 - 候选集

• 历史消费行为：40%
• 附近wifi的poi：20%
• 地理位置：40%
• 城市热词：推荐不足之后补余

热词 - 排序策略

• 用户日志
  • 展现 - 小
  • 点击 - 中
  • 下单 - 大
• 特征排序
  • 候选词特征：pv，ctr
  • 用户特征：是否活跃，品类偏好
  • 用户+候选词：历史查询与候选词相似度，位置

未来需要标签化，场景化

smart-box

候选词

• 静态数据：审核的城市，店名，菜品
• 搜索日志：天，周，月的热词
• 商户名 & 门店名
• 地点 & 品类
• 旅游 & 电影
• 组合：地标+品类 品类+属性

召回策略

• 普通前缀
• 拼音前缀
• 简拼前缀

3种权重依次降低，优先搜索本城市，未命中才扩展全国

排序策略

训练样本：点击的推荐词为正样本，展示了没点的作为负样本
推荐词的特征：周PV，点击下单，转化率，词长度
用户特征：用户距离，用户区域周下单，用户区域PV
关联特征：共现特征，组合ctr

纠错

• 同音
• 多字，漏字，顺序颠倒
• 模糊音
• 拼音
• 形近字
• 英文

候选集合

• 人工审核名单
• 搜索点击
• 搜索session
• 地点，品类
• 旅游，电影

召回策略

• 拼音索引
• 汉子索引
• 纠错对索引

一个query过来：
纠错模块：同音纠错，模糊音纠错，字典纠错 ，形近字纠错
产生候选序列

泛词查询

引导用户的思路，不同需求不同引导

搜索分词

分词算法

• 前向最大匹配
• 后向最大匹配
• 基于统计的方法
• 基于条件随机场CRF算法

CRF：是一个序列标注问题，可以发现新词，消歧义