Adversarial Transfer Learning for Chinese Named Entity Recognition with Self-Attention Mechanism 论文解

Adversarial Transfer Learning for Chinese Named Entity Recognition with Self-Attention Mechanism 论文解读

 

前言：论文主要引入了两个创新点：

1. 如何应用CWS（chinese word segment）的信息
2. 在bilstm和crf层中间加了self-attention（第一次引入到NER）

过程

 

从整个图中可以看出包括以下几个模块

1. embedding layer
2. Shared-private feature extractor
3. Self-attention
4. Task-specific crf
5. Task discriminator
6. Training

1. embedding layer

主要包括左边NER模型的embedding和CWS的embedding都是独立的，即embedding向量不共享（CWS的embedding纬度多大？？也是n吗）

（2）Shared-private feature extractor

都是Bi-LSTM来提取特征，shared feature extractor是怎么提取特征的，输入是各个embedding的相加？

1. Self-attention

其实就是multi-head self-attention，可以看下attention is all you need这篇paper

1. Task-specific crf

就是crf，只是NER和CWS对呀的label不一样，所以反向传播更新的有差异