《Multi-Task Label Embedding for Text Classification》阅读笔记

论文链接：https://arxiv.org/pdf/1710.07210.pdf

多任务文本分类利用任务之间的隐式关系，可以提取通用特征。之前的研究都是将每个任务的label当作独立的，并且表示为没有意义的one-hot向量。会造成潜在信息的丢失，并且造成联合学习三个任务的困难。本文中，我们提出一个Multi-task label embedding来将labels转换为semantic vectors(语义的向量)，因此将之前的任务转换成vector matching任务。本文实现来无监督，有监督和半监督的模型 of Multi-Task Label  Embedding。利用任务之间的语义相关性(semantic correlations)，多任务可扩展。

word embedding：utilize some lower layers to capture common features that are further fed to follow-up task-specific layers. 然而现有的模型有如下缺点：

1. 缺少label信息  2. incapable of scaling不能缩放  3. incapable of transferring不能迁移

---

本文的contribution：

1. 将每个任务的label映射到低纬，稠密的，real-value向量，with semantic implication语义涵盖。      2. 新任务进入后可扩展，网络结构不需要修改，只需要数据   3. 在训练多个任务之后，对于新任务，模型可以迁移，不需要额外训练。  4. 在很多数据集都有很好的效果，超过很多state-of-the-art baselines。

---

多任务学习的三个角度：

multi-cardinality：多基数， 序列长度不同，类别个数不同

multi-domain：多领域，books、DVDs

multi-objective：多目标，sentiment analysis，topic classification，question type judgement

---

方法：

在很多NLP任务中，都是将变长的词序列变成定长的向量，例如neural bag-of-words(NBOW)，recurrent neural networks(RNN)，recursive neural networks(RecNN)，convolutional neural network(CNN)。   

这些模型首先用pretrained lookup layer将词序列，n-grams或者其他语义单元(semantic units) 转换成embedding representations

然后通过神经网络理解向量序列 vector sequences

最后使用一层softmax层来预测类别分布。

---

Recurrent Neural network：

rnn

！！！f is usually a composition of an element-wise non-linearity with an affine transformation of both xt and ht-1

---

Multi-task label embedding：

将每个任务的label转换成具有语义隐含的一个低维度，稠密的，real-value向量。所以揭露了任务内和任务间的关系。

embedding包括三部分：Input Encoder，Label Encoder,  Matcher

matcher：做向量匹配 ？

---

model-I: unsupervised

使用输入序列和分类的label作为所有数据集，训练embedding model Eunsup，包含了不同任务的上下文特征。embedding model 得到 input的和label的 Lui, Lul

为了得到Lei和Lel，将序列中的向量求和然后求均值，因为没有任何supervised annotation标注。

对于matcher，D(Xk, Yk)，计算Cosine相似度或L2距离，选择与Xk最近似的Yk

~感觉这句话写的很好，记录下来(Model-I may fail to achieve adequately satisfactory performances due to employments of so many unsupervised methods, but can still provide some useful insights when no annotations are available at all)

---

Model-II：supervised

M2m*1  是 matcher

公式15中的y是真实label的one-hot representation

目标函数

当一个新任务来的时候，如果在先前参数的基础上继续训练----Hot Update

如果re-train----cold update

---

Model-III：Semi-supervised

模型三和模型二唯一的区别是如何处理新任务，如果新任务是没有标注的，对每个输入序列挑选最好的label，without further training，定义为zero update。