论文阅读：Multi-Task Label Embedding for Text Classification

---

        这篇文章将label embedding 应用到multi-task learning 当中，制造了一个统一的多任务学习框架。并且认为通过给赋予任务的label 语义信息，可以在多任务间进行迁移学习。

        传统的多任务模型有三个缺陷：

            1. 缺少语义信息

            2. 不能灵活添加任务

            3. 不能迁移学习

       本文利用label embedding 可以做到：

            1. 增加标签语义信息，帮助模型更好的分裂

            2. 可以灵活的增加任务，并且分为直接添加 hot-update 和重新训练 cold-update 方式

            3. 利用标签嵌入，将所有分类标签嵌入到同一个语义空间，这样就可以在任务间迁移

---

模型架构：

            

               这个模型利用两个LSTM，一个用来represent input 另一用来represent 标签。最终做一个                                            匹配。判断预测是够准确。

            

---

            

实验结果：

            数据集分为三组：multi-cardinality、multi-domain、multi-objective

            实验结果： 

                    相对单任务提升3.7%

                    hot-update   提升 3.1% 

                    cold-update  提升最为名明显

                    zero-update  显示有效但比前两者低1% 左右

                    和state-of-the-art models 对比, 6/8 胜，平均提升1.5% 左右。

讨论- what works？ multi-task learning or label embedding

                

---

总结：

               writing 很好，非常清晰，循序渐进，采用了很多列表的方式，使得文章很清晰。

               语言比较地道，逻辑清晰。

                加入的心思很多，包括模型和实验室设计，非常复杂完备。