命名实体识别NER实战之基于bert（二）

上一篇介绍了基本的ner任务，这篇继续介绍下CRF，最后使用Bert实现Ner任务。

1，CRF

    我们先看两张简图。

Bilstm

Bilstm+CRF

    图一是Bilstm也就是上一篇介绍的模型，图二就是BiLstm+CRF。对比两图不难发现，图二在标签之间也存在着路径连接，这便是CRF层。这里CRF的作用就是对各标签的之间的转移概率进行建模，然后在所有的标签序列中，选取一条最优结果(在概率图中叫最优路径)，例如，词性标注任务中，形容词后面接名词的概率比较大，所以模型更倾向于在形容词后面选着一个名词。

    而 BiLstm+CRF 网络 就是将Bilstm的输出，也就是每个单词对应标签的值(注意BiLstm的输出建议不要使用sigmoid、tanh或softmax做转换)输入到CRF中。在CRF内部，首先会随机初始化一个[tag_size,tag_size]的矩阵A，tag_size就是标签的个数，所以A_ij就代表标签i到标签j的转移概率。这个矩阵最后通过学习得到。

    有了这个矩阵我们就可以对一个标签序列计算一个分值。

这里X就是我们观测到的语句，例如:刘媛被清华大学录取。y就是X的标签序列。T代表我们句子的长度，就代表t-1时刻的标签转移到t时刻标签的值，从标签转移矩阵A中获得，就是t时刻BiLstm的输出值。so,就是这么简单，一个标签序列的分数，只需简单的加法就可以得到。但是注意这里是一个分值，并不是一个概率值。需要用下面的公式将分值转换成概率。

这里 就是当前语句对应的所有标签序列的之和。假设包含10个单词，任务有3个标签，种标签序列。
接下来看下如何训练，对于语句都有答案序列，我们求出答案序列y的得分，使用softmax得到其概率，最后使用最大似然估计来求解，也就是最小化下面的损失函数：

简化下公式：

这里就是答案标签序列对应的分值，这个很容易计算，麻烦的是如何计算。其实这里不用太担心，因为我们只要求出了时刻的所有序列的值，就可以求出时刻所有序列的值。
下面是简单说明下：
假设我们的只有两个单词，所以可以拆解成
我们用和来分别代表
所以
而
带入原式就得到
而s1时刻所有序列的值正是
所以对于求，我们只需将每一时刻的序列总值求出即可。

上面就是在Bidirectional LSTM-CRF Models for Sequence Tagging这篇paper中提到的CRF方法，但这并不是CRF的全部，想要全面的了解CRF需要概率图模型的知识，这个后期会在做个详细的介绍。

2,代码篇

在tensorflow中使用CRF是很方便的一件事，因为tensorflow已经全部封装好了，一个方法即可调用。

            log_likelihood, trans = tf.contrib.crf.crf_log_likelihood(
                inputs=logits, # logits 就是Bilstm的输出，每个token对应的标签值，[batch_size,seq_len,tag_num]
                tag_indices=self.labels,# 每个token对应的真实标签
                sequence_lengths=self.lengths)# 每个样本的句子长度

方法返回的log_likelihood就是对应的loss值，trans 就是标签的转移矩阵。
建立train_op的时候，注意梯度下降的时候需要tf.reduce_mean(-log_likelihood)

train_op = tf.train.AdamOptimizer(learning_rate).minimize(tf.reduce_mean(-log_likelihood))

预测阶段

预测的时候就是在所有的标签序列中，找出分值最大的那个。这里要用到Viterbi算法，tensorflow同样也做好了封装。

 decode_tags, best_score= tf.contrib.crf.crf_decode(potentials=logits, transition_params=trans, sequence_length=self.lengths)

输入：

logits : 就是Bilstm的输出，也就是每个词对于每个标签的分数。
transition_params : CRF训练出的标签转移概率矩阵。
sequence_length：预测样本的句子长度。

返回：

decode_tags:预测的最优标签序列。

best_score：预测的最优标签序列对应的分值。

3 Bert-Bilstm-CRF

在BERT使用详解(实战)介绍了Bert的使用方法，可以去看下。对于Bert-Bilstm-CRF 其实可以把Bert的输出看做是词向量，所以只需把原来词向量的部分用bert替换即可。

源码已经提交至GIT