Reconstructing Capsule Networks for Zero-shot Intent Classification

摘要

• intent classification 意图分类。
• dialogue systems 对话系统
• 已经存在的系统并没有能力去处理快速增长的意图。
• zero-shot intent classifcation： 零样本意图分类。
  Nevertheless 不过。
  incipient stage 初期阶段

今年来提出的IntentCapsNet

• two unaddressed limitations：两个未解决的限制。
• 在提取语义胶囊的时候，并不能够处理多义性。
• 在广义零样本意图分类序列中，几乎不能够识别不可见意图的语句。
• 为了克服这个限制，我们提出了重新构建零样本意图分类的胶囊网络。

方法

• 引入：
• a dimensional attention mechanism to fight against polysemy
• we reconstruct the transformation matrices for unseen intents by utilizing abundant latent information of the labeled utterances.
• 实验结果： two task-oriented dialogue datasets

介绍

• task-oriented spoken dialogue systems :任务导向型的语言对话系统。
• 为了提升商业效率和用户满意度，准确在用户语句之后识别用户意图。
• user queries are sometimes short and expressed diversely
  （用户查询更短而且表达更加多元化）
• 传统的用户意图分类方法在大量标签数据集上训练监督学习模型。在识别越来越增长的不可见意图并没有效率。
• external resources:外部资源

label ontologies

manually defined attributes

(手动定义属性)

方法1

• utilize neural networks to project intent labels and data samples to the same semantic space. and then measure their similarity.

• 学习一个好的映射函数是非常困难的。

• IntentCapsNet 可以使用胶囊网络去提取高维度语义特征。 then transfers the prediction vectors for seen intents to unseen intents

• 

训练过程

• • labeled utterances are first encoded by Bi-LSTM
• a set of semantic capsules are extracted via the dimensional attention module
• these semantic capsules are fed to a capsule network to train a model for predicting the seen intents

测试过程

• to predict the unseen intents, a metric learning method is trained on labeled utterances and intent label embeddings to learn the similarities between the unseen and seen intents。

• the learned similarities and the transformation matrices for the seen intents trained by capsule networks are used to construct the transformation matrices for the unseen intents
  

• ReCapsNet-ZS 有两个成分组成：

  • 其引进 a dimensional attention module to alleviate the polysemy problem. (这能为胶囊网络帮助提取语义特征）

  • Second, it computes the similarities between unseen and seen intents by utilizing the rich latent information of labeled utterances

  • *** constructs the transformation matrices** for unseen intents with the computed similarities.

  • the trained transformation matrices for seen intents.

  相关工作

  Zero-shot Intent Classification

  • 零样本分类目的是使用从可见类别中学习到的知识。
  • 得到外部资源是困难的。

  Capsule Networks

  • 胶囊网络的提出是为了解决卷积神经网络的缺陷。
  • the dynamic routing algorithm 动态路由算法。和零样文本分类的元学习框架。

  Problem Formulation

  • the set of all intent labels:
    $$Y=Y^s\bigcup Y^u$$
    $$Y^s=\{y_1^s,y_2^s,\cdots ,y_k^s\}$$
    $$Y^u=\{y_1^u,y_2^u,\cdots ,y_L^u\}$$
    是可见类别和不可见类别各自的用户标签。
    $$Y^s\bigcap Y^u=\varnothing$$
    $K和L$是可见类别和不可见类别用户标签的各自数量。
  • 可见类别和不可见类别用户标签的嵌入。embedding.
    $$E^s=\{e_1^s,e_2^s,\cdots ,e_k^s\}$$
    $$E^u=\{e_1^u,e_2^u,\cdots ,e_L^u\}$$
    每个嵌入都是$ad-dimensionalvector$

• 可见类别和不可见类别用户标签的联合嵌入可以使用。

  • 可见类别和不可见类别的样本语句集被标注为：
    $$X^s=\{x_1^s,x_2^s,\cdots ,x_{n_s}^s\}$$
    $$X^u=\{x_1^u,x_2^u,\cdots ,x_{n_u}^u\}$$
  • $n_s$ is the number of instances of the seen labels
  • $n_u$ is the number of instances of the unseen labels

Zero-shot Intent Classification

Generalized Zero-shot Intent Classification

Limitations of IntentCapsNet

• a multi-dimensional embedding:：多维度嵌入。 表示单词。
• different dimensions of a word embedding may tend to represent different semantic meanings.
• 
• $||\cdot ||$ is the L2-norm of a vector
• $R$ is the number of semantic capsules
  
  
  
  
  
  

提出的方法

动态路由算法

总结

先大致了解一波。然后慢慢的从胶囊网络开始研究，将代码啥的全部都将其搞透彻，将其研究彻底，全部研究彻底都行啦的样子。
会将零样本常用的额技术罗列起来，然后会自己堆砌，形成自己的网络结构。