Multi-Task Networks With Universe, Group, and Task Feature Learning-阅读笔记

Multi-Task Networks With Universe, Group, and Task Feature Learning

文章将任务区分为三个层次：

1. 单个任务。
2. 任务组（task group）
3. 全体任务（task universe）

提出一些类MTL框架，包含并行网络结构、串行网络结构，在 ATIS, Snips和一个自有大数据集上表现良好。

Parallel MTL Architecture

Group features、Universe features、Task features并行生成。

• 不同的任务 a, b, c 都会被输入到 Universe Encoder 中，生成 Universe features
• 同一 group 的任务（x1a, x1b 是一个 group，x2c 是另一个），会送到 Group Encoder 中，生成 Group features；
• 每个任务都会被输入到 Task Encoder 中，生成 Task features；
• 每个 Task features 会和 Universe features，Group features 连接，作为 Task Decoder 的输入，得到最后的结果。在这个模型中，三类 feature 是并行生成的。

Serial MTL Architecture

Group features、Universe features、Task features三类特征会又先后顺序生成。

• Serial: Group features 和 Universe features 并行生成，拼接后输入到 Task encoder 去生成 Task features；
• Serial + Highway：和 a 一样，但是在 Decoder 时，会把 Task features 和前面的 Group features，Universe features 进行拼接；
• Serial + Highway + Swap：先生成 Task features，然后再生成 Group features 和 Universe features，再和 Task features 进行拼接。

Loss

作者加入对抗损失（adversarial loss）和正交限制（orthogonality constraints），来避免 Task Features 在共享空间中：
$${\mathcal{L}}_{\text{all }}={\mathcal{L}}_{\text{tasks }}+\lambda \ast {\mathcal{L}}_{\text{adv }}+\gamma \ast {\mathcal{L}}_{\text{ortho }}$$
具体见：
1.Domain Separation Networks
2.Adversarial multi-task learning for text classification

任务主要包含：ner、intent classification.

ner使用BiLSTM+crf

$${\mathcal{L}}_{\mathrm{t}\mathrm{a}\mathrm{s}\mathrm{k}}=w_{\mathrm{S}\mathrm{F}}\ast {\mathcal{L}}_{\mathrm{S}\mathrm{F}}+w_{\mathrm{I}\mathrm{C}}\ast {\mathcal{L}}_{\mathrm{I}\mathrm{C}}$$

reference

1. Multi-Task Networks With Universe, Group, and Task Feature Learning
2. Domain Separation Networks
3. Adversarial multi-task learning for text classification