paper notes 《Chinese NER Using Lattice LSTM》

paper title：《Chinese NER Using Lattice LSTM》

摘要

对于中文命名实体识别，我们研究了一种lattice结构的lstm模型（lattice-structured LSTM），这个模型能够对输入的字符序列以及序列中能够与字典相匹配的隐藏的词信息一同编码。

相比于基于字粒度的方法，lattice的能够更好的利用字以及字序列的信息。相比于词粒度的方法，lattice避免了分词带来的错误。门控循环单元能够使得模型选择最相关的字和词，得到更好的NER结果。在多种数据的实验中表明，lattice的性能优于基于字粒度和词粒度的lstm，能够得到best结果。

1 引言

近几年，作为信息抽取领域中的基本任务，命名实体识别（NER）得到了持续的研究关注。NER一直被看作是一项序列标注问题，他的实体边缘和类别标记一起被预测出来。英文NER中最好的结果是通过lstm-crf模型将字信息融入到词表示中得到的。

中文NER与分词有关，特别是实体的边界就是词的边界。中文NER的一种方式是先分词，然后对词序列进行NER标注。这种分词->NER的pipeline很容易受到传播错误，因为在分词中命名实体是OOV（out-of-vocabulary）的重要来源，而且错误的分割实体边缘也会导致NER的错误。这种问题在开放领域更为严重，因为交叉领域中的词分割还存在很多待解决问题。所以词粒度的性能要比字粒度的性能要好。

基于字粒度的NER的缺点是忽略了字以及字序列的信息。解决方法是利用lattice结构的lstm将句子中潜在的词信息融入到字粒度的lstm-crf中。

如上图，通过将句子与自动得到的较大的词典匹配构建一个字-词的lattice结构。例子中是得到了“长江大桥”“大桥”“长江”可以消除文中潜在命名实体的歧义，例如与文中的“江大桥”。

因为一个lattice中的字-词会有指数级的路径，所以构建了一个lattice lstm结构自动控制信息流从句子开始流到句子结尾。

如上图，通过门单元动态的将不同路径得到的词输送到相应的字符。在NER数据上训练，lattice lstm能够自动的在文中找到更多的词信息来达到更好的NER性能。与只依赖于字信息和只只依赖于词信息的NER相比，lsttice lstm 能够不受分词错误的影响，并将明确的词信息作用于字序列标注上的优点。

代码及数据git地址

2 相关工作

神经网络运用与NER的方法：

• Hammerton ：单向lstm，第一次将神经网络应用于NER
• Collobert ：CNN-CRF
• dos Santos：character CNN + cnn-crf
• 最多的：lstm-crf
• Lample：character LSTM

基于字序列的标注成为中文NER的主流方法。在统计上来看，对于字粒度和词粒度的NER
方法的讨论表明字粒度的性能更优，对于神经网络中的NER方法也是如此。
另外，lattice lstm要优于word LSTM和character LSTM.

本模型不需要分词也不需要考虑多任务的设置。

NER任务中会经常使用外部信息源，尤其是词典特征被广泛使用。在本论文中是在大量自动分词的文本中使用预训练的word embedding 词典。同时类似与语言模型的半监督方法也可以到lattice lstm中。

lattice 结构的RNN可以看作是树结构的RNN向DAGs(Directed acyclic graph，有向无环图）的延伸。本文中的lattice lstm是以字符为中心的lattice-lstm-crf序列标注模型，对于词，有循环单元但是没有隐藏单元。

是第一个将字符与词混合起来构建lattice的，也是都一个将word-character lattice 应用于不用分词的中文NER任务中的。

3 模型

使用lstm-crf作为主要的网络结构。

一般将输入序列表示为$s=c_1,c_2...c_m$
其中，$c_j$代表第j个字符。也可以把输入表示为$s=w_1,w_2...w_m$，其中$w_j$表示句子分词后的第j个词。本文中应用t(i,k)表示索引j，代表第i个单词的第k个字符。比如“南京市 长江大桥”,索引从1开始，那么t(1,2) = 2(京)，t(2,3) = 6（大）。
运用BIOES（begin intermediate other end single）标注策略进行字粒度和词粒度的NER标注。

3.1 Character-Based Model

字粒度的ner模型如上图所示。
运用lstm-crf模型计算字序列$c_1,c_2....c_m$，每个字符$c_j$通过字向量查找表（character embedding lookup table）得到。
$$X_j^c=e^c(c_j)(1)$$
双向lstm计算字向量$x_1,x_2...x_m$得到隐藏层结果$(h_1^c),(h_2^c)...(h_m^c)$以及反向的$(h_1^c),(h_2^c)...(h_m^c)$，最后得到隐藏层结果为

$$h_c^j=[(h_j^c);(h_j^c](2)$$
最后应用CRF（公式（17））计算隐藏层结果$h_c^j$.

• Char + bichar.

实验表明Character bigrams对于词分割有很大用处。通过拼接双字的embedding和单字的embedding，将字符 bigrams添加到字粒度的模型中。

$$
X_{j}^{c} = [e^{c}(c_{j});e{b}(c_{j},c_{j+1})] \qquad (3)

$$

• Char + softword
  将分词作为soft 特征能够提升性能，通过将分词的embedding与字符embedding拼接起来，将分词信息加到 character representation 中。

$$X_j^c=[e^c(c_j);e^s(seg(c_j))](4)$$
得到的隐藏层状态如下：
$$h_i^w=[(h_i^w);(h_i^w](5)$$

3.2 Word-Based Model

基于词粒度的NER如上。利用word embedding得到词的向量表示。

$$X_i^w=e^w(w_i)(6)$$
同样运用双向lstm得到双向隐藏层状态序列，并拼接得到最终的隐藏层状态。
$$h_i^w=[(h_i^w);(h_i^w]$$

Integrating character representations:

字符CNN和LSTM中都运用词来表示字符。对于本文的中文NER，两者都用上。也就是说词的表示为word embedding查找的词向量和字符序列拼接起来。

$$X_i^w=[e_i^w(w_i);X_i^c](7)$$

• Word + char LSTM

每个输入字符的embedding表示为$e^c(c_j)$ ,对于$w_i$的字符$c_{}$
bi-lstm计算字向量得到$(h_{t(i,1)}^c),(h_{t(i,2)}^c)...(h_{t(i,len(i))}^c)$，以及反向的$(h_{t(i,1)}^c),(h_{t(i,2)}^c)...(h_{t(i,len(i))}^c)$,最终对于&w_{i}&的字符级的表示为

$$X_i^c=[(h_{t(i,len(i))}^c);(h_{t(i,len(i))}^c)]$$

• Word + char LSTM′

• Word + char CNN

对于每个单词的字符序列应用标准的CNN，得到字符表示$X_i^c$

$$
X^{c}{i} = max{t(i,1) <= j <= t(i,len(i))}
(W_{CNN}^{T}
\begin{bmatrix}e^{c}(c_{j - \frac {ke-1} {2})} \
… \
e^{c}(c_{j + \frac {ke-1} {2})}
\end{bmatrix}

• b_{CNN})
  $$

$W_{CNN}{b}_{CNN}$是参数，ke代表kenal个数，max表示最大pooling。

3.3 Lattice Model

lattice lstm 的整体结构如上图figure2 所示，可以看作是char-based，加上了word-based cells和门控单元控制信息流向。

如上图所示，输入数据是字符序列 $ c_{1}…c_{m}$以及与词典匹配的子序列（词）。

$W_{b,e}^d$代表由索引b开始到索引e结束的子序列，比如“南京市长江大桥”$W_{1,2}^d$ 即“南京”，$W_{6,7}^d$ 即“大桥”。

在lattice模型中有四种向量，input vectors, output hidden vectors, cell vectors ，gate vectors。

作为基本组成，在character-based模型中，char输入向量表示每个字符。
$X_j^c=e^c(c_j)$ \qquad (10)`

基本的循环结构组成为：字符细胞向量(character cell vector)$c_j^c$以及对于每个$c_j$得到的隐藏层向量$h_j^c$,其中$c_j^c$表示从句子开始到$c_j$的信息流，$h_j^c$用于CRF进行序列标记。

基本LSTM函数如下：

lattice lstm
不同于char-based lstm，$c_j^c$的组成要考虑句子中与词典相匹配的子序列$w_{b,e}^d$.每个子序列可以表示为
$
X_{b,e}^{w} = e^{w}(w_{b,e}{d}) \qquad (12)
$
另外，字细胞（word cell ）$c_{b,e}^w$表示从句子开始到该位置$X_{b,e}^w$的细胞状态。$c_{b,e}^w$的计算公式如下：

没有输出，因为只有字粒度才有标注输出。

对于$c_{b,e}^w$，有多种路径使得信息流向）$c_j^c$。比如“南京市长江大桥”中，$c_7^c$包括
$X_7^c$（桥），
$c_{6,7}^w$（大桥）以及
$c_{4,7}^w$（长江大桥）。
将所有由$ b \in {b’| w_{b’,e}^{d} \in D}$开始的的$c_{b,e}^{{w}$与$c_{e}}{c}$联系起来。用另一个门$i_{b,e}^{c}$ 来控制信息$c_{b,e}^w$流向$c_{b,e}^c$。

$$i_{b,e}^c=\sigma (W^{lT}\left[\begin{array}{cc}& X_{e}c\\ & c_{b,e}^w\end{array}\right]+b^l(14)$$

所以，细胞状态$c_j^c$的计算变为：
$$c_j^c=\sum _{b\in \{b^{\prime }|w_{b^{\prime },j}^d\in D\}}{\alpha }_{b,j}^c⨀c_{b,j}^w+{\alpha }_j^c⨀\widetilde{(}{c}_j^c)(15)$$

最终的隐藏状态$h_j^c$计算公式与Eq（11）相同。
$$h_j^c=o_j^c⨀tanh(c_j^c)$$
通过损失函数的最优化，反向传播调整$W^c,b^c,W^w,b^w,W^l,b^l$使得模型在NER标记过程中能够动态选择相关性最强的词。

3.4 Decoding and Training

CRF层在隐藏层的上一层，标记序列y的概率计算公式为：

在word-based或者char-based输入序列上运用一阶维特比算法得到得分最高的标记序列。
给定手工标注的训练数据$\{(s_i,y_i)\}{|}_{i=1}^N$,句子级别的对数似然损失函数（使用L2正则）计算公式为：

4 Experimental

展开了一系列实验拓展研究词粒度的lattice lstm 在NER上的性能。另一个目的是对比不同参数设置下的基于字和基于词的中文NER性能。

4.1 Experimental

• 数据：

resume数据开放。

• 分词：

OntoNotes 以及 MSRA train data ：固定标准的分割。
Yang 神经网络分词应用于MSRA的test/dev的分词。

• Word Embeddings

使用word2vec在 自动分词的Chinese Giga-Word数据集上 预训练了embedding。Character and character bigram embeddings也是基于此预训练的。

• Hyper-parameter settings.

在word embedding和char embedding中都使用dropout层，选择SGD进行损失函数的优化。

4.2 Development Experiments

• Character-based NER

• Word-based NER.

• Lattice-based NER.

4.3 Final Results

4.4 Discussion

• F1 against sentence length.

5 conclusion