Building task-oriented dialogue systems for online shopping 论文笔记

Building task-oriented dialogue systems for online shopping 论文笔记

1. 摘要

该文给出了针对用于线上购物的面向任务的对话系统的一个一般的解决方案, 目标是协助用户完成多样化的购买相关任务, 比如搜索商品和回答问题, 如同正常人之间的对话. 作为一个创始工作, 我们会展现NLP的技术, 数据源以及可以利用的众包来建立这样一个关于电子商务的面向任务的对话系统. 为了示范它的效果, 我们将我们的系统集成到一个移动端在线购物应用, 据我们所知道的最好的消息, 这个系统实际用于百万级别的用户群体, 我们的实验部分将会展现有趣的和有深刻见解的观察, 基于人机对话日志的分析, 同时也给出了未来的一些挑战.

2. 介绍

一般来说, 对话系统分为面向任务的以及非面向任务的系统, 而本文中的线上购物的对话系统既需要面向任务, 同时也需要具备普通交流的功能, 但是以前我们利用特定领域的知识来对语义槽进行设计和填充, 不过这种方法在整个系统冷启动的条件下很难进行应用, 我们需要大量的人和人的语料, 可是这确是难以获得的.

为了解决这些问题, 我们的工作专注于三种类型的数据(对于电子商务web服务是共通的, 同时是易于爬取获得的):
1. 产品知识库(结构化存储的产品信息)
2. 搜索日志(产品, 自然语言查询和用户选择的行为)
3. 社交网站(用户自然语言中所表露出的意图)

我们应用的bot可以和用户进行交流, 同时尝试去帮助用户比较相同类型的商品, 或者是和用户闲聊, 通过对 聊天日志的分析, 可以找出用户的兴趣点.

我们提出的方法和之前的方法主要有两个不同:
1. 训练数据
大多数之前的对话系统依赖于带有标记的数据作为有监督的学习, 最终训练一个统计模型来实现槽的填充, 对话状态跟踪, 策略选择等, 但是这样带有标记的数据在实际应用上基本没有, 比如线上购物, 我们提出了可选择的方案来利用已存在的数据建立一个面向任务的对话系统, 和轻量级众包一起, 这并不意味着我们的方法更加聪明, 而是在冷启动条件下比较适用.
2. 领域伸缩
大多数之前的对话系统只能适用于特定的领域, 预先定义的实体以及语义标记(有限的大小), 与此相反, 此篇论文中所使用的领域知识库十分庞大, 不仅给算法和模型都带来了挑战, 而且产品设计亦是一个问题, 进一步, 我们也提出了一个管道来解决意图挖掘和检测任务.

3. 系统形式化

一般地, 一个面向任务的对话系统包含一下几个组成部分:

DS={QU,ST,DM,PKB} D S = { Q U , S T , D M , P K B }

QU Q U 为问题理解, 输入是 Qt Q t , 输出是 Mt M t , Qt Q t 代表着用户在时间 t t 的话语, Mt M t 代表 Qt Q t 的形式化的意思表示.

ST S T 为状态跟踪, 输入是 Mt M t 和 Ht−1 H t − 1 , 输出是 Ht H t , Ht H t 代表着时间 t t 的对话状态, 通过时间逐渐累积的意味表达.

DM D M 为对话管理, 输入是 Ht H t , 输出是自然语言回应 Rt R t , 内部函数即是基于当前对话状态 Ht H t 来选择一个更为合适的action伴随着自然语言表示来回应用户.

PKB P K B 为产品知识库, 也就是由一堆三元组 <p,n,v>∈P×N×V < p , n , v >∈ P × N × V 组成的集合, P P 是产品集合, N N 是属性集合, V V 是属性值.

4. 问题理解

给定话语 Qt Q t , 自然语言理解模块就是生成它的表示 Mt M t , 特别地对于线上购物场景:

Mt=<I,C,A> M t =< I , C , A >

其中 I I 就是通过用户话语表达出来的意图 Qt Q t , 用于确定action(推荐或者是QA)
C C 是 Qt Q t 所涉及的产品种类, 用于确定可能的产品以供DM来进行分析.
A A 是二元组 <n,v> < n , v > 的集合, n n 代表属性名字, v v 代表对应的值,

4.1 问题意图检测

同一产品的话语提及可能是完全不同的, 系统需要基于用户意图来确定如何进行动作, 文中提及了一个意图分析的例子, 利用几个简单的模板来套用就可以得到相应的意图, 但是意图检测仍然是一个比较大的问题.

4.2 意图分析挖掘

有很多地方人们会表露出购买的意图, 包括搜索引擎, 社交站点, 社交网络等, 我们提出关于购物意图分析挖掘的算法, 这个算法在社交网站上的问题进行信息挖掘, 这些问题都是能表现出明显的购物意图,
“`

意图分析挖掘算法:
1. 收集和过滤社交网站中提交的问题, 成为一个问题集合 QD={q1,...,qD} Q D = { q 1 , . . . , q D } , 这些问题至少包含产品名称, 牌子名称, 或者种类名称中的一个(基于产品知识库)
2. 在 QD Q D 上运行ParseSegmentation来分割每一个 qk q k 到一个短语序列 {phk1,...,phkn} { p h k 1 , . . . , p h k n }
3. 在已经分割好的 QD Q D 上运行ParseLDA来得到主题聚类
4. 购物相关意图的集合通过众包来定义, 基于基于主题的短语聚类
5. 对于每一个意图, 通过众包选取短语的一个集合
6. 返回一个购买意图集合 I I , 以及带有标记的意图短语

特别地, 三种状态相关的意图也被考虑进来:
1. 添加过滤条件
添加多个过滤条件使得对话成为多轮的对话系统
2. 查看更多
意味着用户想查看更多商品, 比如”其他的”, “下一个”
3. 协商
意味着用户并不满足当前推荐的产品但是没有很明确的表现出理由

4.3 意图分类

对于每一个意图 Ik∈I I k ∈ I , 我们从 QD Q D 中收集了2000个问题, 每一个都至少包括一个 Ik I k 的意图短语, 我们也收集了2000个没有购买意向的问题, 所有这些有标记的问题都被用来训练成一个多类别的分类器, 进而确定用户言语表现的意图, 或者只是闲聊.

5. 产品类别检测

在这个环节中, 我们将产品类别检测看作是一个多分类的问题, 给定一个带有购买意图的用户言语, 产品类别检测的目的就是预测出用户说的东西的类别, 这东西的用处在于缩小预测的范围, 利用预先检测出来的类别来从浩瀚的产品库中选取一部分子集, 再在其中进行一定的搜索匹配.

为了解决这个分类任务, 使用了基于CNN的方法.

输入层:
传统地, 每一个词利用one-hot编码成一个向量, 维度取决单词的种类, 然而如果是中文, 那么维度是一个问题, 对于学习出模型的参数的代价相当昂贵, 为了缓解这个问题, 我们将中文字符表示成特性的计数向量, 我们对于话语 Q Q 使用 tth t t h 个n元词法模型, 主要是将每个词连接起来, 类似于

lt=[wTt−d,...,wTt,...,wTt+d]T l t = [ w t − d T , . . . , w t T , . . . , w t + d T ] T

其中 wt w t 为第t个词的表示, 并且 n=2d+1 n = 2 d + 1 为上下文窗口大小, 我们设置成3

卷积层:
卷积层实现基于窗口滑动的特征抽取, 进而对于每个n元文法单词向量表示 lt l t 投影到上下文特征向量 ht h t :

ht=tanh(Wc∗lt) h t = t a n h ( W c ∗ l t )

其中 Wc W c 是卷积矩阵

池化层:
池化层聚集通过卷积层抽取的局部特征, 进而构建固定大小的和输入语句长度无关的语句水平的全局特征. Max pooling被用来推动网络进而通过 lp=[v1,v2,...,vK]K l p = [ v 1 , v 2 , . . . , v K ] K 保持最有用的局部特征, 其中

vi=maxt=1,..,T{ht(i)} v i = max t = 1 , . . , T { h t ( i ) }

语义层:
对于 Q Q 的全局表示 lp l p , 一个非线性转换被这样应用:

y(Q)=tanh(Ws∗lp) y ( Q ) = t a n h ( W s ∗ l p )

其中 Ws W s 是语义投影矩阵, y(Q) y ( Q ) 是最后的语义向量表示.

给定一个用户话语 Q Q , 和排行的产品类型列表, 我们首先使用CNN来计算出 Q Q 的语义向量并且所有的产品类型
接着, 我们计算出 Q Q 和每一个产品类型 Ci C i 的相似度, 相似度的计算使用语义向量的余弦相似度

Sim(Ci,Q)=Cosine(y(Q),y(Ci)) S i m ( C i , Q ) = C o s i n e ( y ( Q ) , y ( C i ) )

给定用户话语的一个产品类型的后验概率, 通过一个softmax函数, 基于相似性分数来进行计算, 模型用来最大化正确匹配话语和产品类型的似然性, 这里使用随机梯度下降

6. 产品属性抽取

给定用户话语 Q Q , 产品属性抽取的目的就是通过属性名和值 T∗=tK1 T ∗ = t 1 K 去标注 Q Q ,

T∗=argmaxTP(T|Q)=argmaxTP(tK1|mK1)=argmaxT∏k=1KP(tk|mk) T ∗ = a r g m a x T P ( T | Q ) = a r g m a x T P ( t 1 K | m 1 K ) = a r g m a x T ∏ k = 1 K P ( t k | m k )

其中 mk∈Q m k ∈ Q 是n元词法, tk∈A  or  tk∈V t k ∈ A     o r     t k ∈ V 是 mk m k 涉及的属性名(或者属性值), P(tk|mk) P ( t k | m k ) 是 mk m k 能够被 tk t k 标记的概率

对于一个不能被标记属性或者值的单词, 我们将其标注为[word], 同时具有一个小的值代表概率 P([word]|m) P ( [ w o r d ] | m )

而如何获得这个概率呢, 这就需要一个释义挖掘任务

• 属性值是产品名的时候:
  我们通过产品搜索日志数据来进行释义的挖掘, 这是由于电子商务网站给用户提供搜索服务, 那么肯定就会产生一堆日志
  
  1. 首先我们从日志中获得 <q,urlp> < q , u r l p > 对, 其中 q q 是一个搜索引擎的query, url u r l 是通过 q q 搜索到的, 然后点进去名字是 p p 的页面.
  2. 我们计算出 link(p|q)作为分数,其中 l i n k ( p | q ) 作 为 分 数 , 其 中 q是产品 p p 的一个可选表达
     
     link(p|q)=p(p|q)∗p(q|p)=#(p,q)∑p′#(p′,q)∗#(p,q)∑q′#(p,q′) l i n k ( p | q ) = p ( p | q ) ∗ p ( q | p ) = # ( p , q ) ∑ p ′ # ( p ′ , q ) ∗ # ( p , q ) ∑ q ′ # ( p , q ′ )

#(p,q) # ( p , q ) 为query q下点击进入产品名是p页面的次数, 基于 link(p,q) l i n k ( p , q ) , 我们可以进一步计算出分布

P(p|q)=link(p|q)∑p′link(p′|q) P ( p | q ) = l i n k ( p | q ) ∑ p ′ l i n k ( p ′ | q )

其中, P(p|q) P ( p | q ) 实际上为query q在产品相关集合上的分布, 注意到, 用户也会使用品牌名, 产品类别, 或者它们的结合来进行搜索, 因此, 对于每一个三元组

7. 状态跟踪

状态跟踪模块 ST S T , 保持对话状态 Ht H t , 对话状态也即是直到时间 t t 的对话时段表示, ST S T 按如下进行作用:
1. 基于函数 SessionAwareIntentUpdate(Mt,Ht−1) S e s s i o n A w a r e I n t e n t U p d a t e ( M t , H t − 1 ) 更新意图状态 Mt.i M t . i , 基于以下规则来更新 Mt M t 的意图
- 如果 Mt.i∈I M t . i ∈ I , 不是Session-Aware的意图, 则保持 Mt.i M t . i 不改变
- 如果 Mt.i∈I M t . i ∈ I , 是Session-Aware的意图, 并且 Ht−1.i=Recommendation H t − 1 . i = R e c o m m e n d a t i o n , 设置 Mt.i M t . i 为 Remonmendation R e m o n m e n d a t i o n
- 其他情况, 设置 Mt.i M t . i 为 Chit−chat C h i t − c h a t
2. 如果话语被检测为 Chit−chat C h i t − c h a t , 则没有更新, Ht=Ht−1 H t = H t − 1
3. 如果当前话语的产品类别被确认为储存在 Ht−1 H t − 1 的产品类别, 则 Ht H t 会继承 Ht−1 H t − 1 的所有信息, 否则, Ht H t 的内容将会完全基于 Mt M t 来进行更新, 包括 I,C,A I , C , A , 也就是意图, 产品类别和属性-值的集合

注意到, 如果chit-chat话语的连续长度超过某一个预定义的阈值, 或者在时间t时两个连续的话语的时间间隔超过某个预定义长度, 则 Ht H t 会被清除, 作为一种遗忘的方法.

对话状态的跟踪是保证多轮对话中用户体验的关键, 本文中由于为了规避冷启动的问题, 使用了Session水平的标记数据来提高置信状态跟踪.

8. 对话管理

对话管理模块 DM D M 利用当前对话状态 Ht H t 作为输入, 基于该状态进行不同的动作, 并且输出相应的结果.
这里给出在线购物场景的各种动作:
- 推荐
当 Ht.i H t . i 是 Recomendation R e c o m e n d a t i o n 的时候将会触发, 它将会利用产品类别和属性值在产品库当中进行检索, 最后储存到 Ht H t 中
- 比较
需要满足两个条件才会触发比较:
1. Ht.i=Comparision H t . i = C o m p a r i s i o n
2. 相同类别的多个产品或者品牌的名字在 Ht H t 被检测出来
将会对它们的优缺点都进行比较
- 观点总结
当 Ht.i H t . i 是 Ask Opnion A s k   O p n i o n 的时候将会触发, 将会总结存储在 Ht H t 中的目标产品和牌子, 基于电子商务伙伴提供的产品review数据
- 问题回答
这个动作会在一个产品的名字或者属性在 Ht H t 中被检测到的时候触发, 同时对应的属性值没有检测到, 将会通过产品数据库来返回没有提及的属性值, 我们将其视作单轮的KB-QA(知识库-问题回答)任务, 通过Yih的方法解决

Yih, W.-t.; Chang, M.-W.; He, X.; and Gao, J. 2015. Semantic parsing via staged query graph generation: Question answering with knowledge base. In Proceedings of Annual Meeting of the Association for Computational Linguistics (ACL).

• 前瞻性的提问
  这个动作会在满足三个条件的时候触发:
  

  1. 一个Recomendation被检测出来
  2. 产品类别被识别出来
  3. 没有任意的约束, 包括在 Ht H t 中也没有
     

  注意到, 这样形式的问题通常会是众包的数据中会含有的

• 闲聊
  当没有任何的购买意图被检测到的时候, 将会触发这个动作, 使用Ji, Lu和Li的方法基于IR的回应生成策略, 该模块基于以下的条件, 在给定的用户话语 qt q t 下, 生成一个回应:
  

  r~=argmax<q,r>∈DBQR∑iλi⋅hi(q,qt) r ~ = a r g max < q , r >∈ D B Q R ∑ i λ i ⋅ h i ( q , q t )
  
  其中 DBQR={<q1,r1>,<q2,r2>,…,<qM,rM>} D B Q R = { < q 1 , r 1 > , < q 2 , r 2 > , … , < q M , r M > } 为从web上收集来的(问题-回答)的数据, qm q m 是用户的问题, 而 rm r m 是其他用户对这个问题的回答, hi h i 是第 i i 个特征, 用于度量utterance和query的相似性, λi λ i 为 hi h i 的特征权重, 该模块的目的为:

• 找到存在的和 qt q t 相似的 q~ q ~
• 返回 q~ q ~ 的回答 r~ r ~ , 作为 qt q t 的回答

Ji, Z.; Lu, Z.; and Li, H. 2014. An information retrieval approach to short text conversation. arXiv preprint arXiv:1408.6988.