上一篇介绍了基本的ner任务，这篇继续介绍下CRF，最后使用Bert实现Ner任务。
1，CRF
我们先看两张简图。
图一是Bilstm也就是上一篇介绍的模型，图二就是BiLstm+CRF。对比两图不难发现，图二在标签之间也存在着路径连接，这便是CRF层。这里CRF的作用就是对各标签的之间的转移概率进行建模，然后在所有的标签序列中，选取一条最优结果(在概率图中叫最优路径)，例如，词性标注任务中，形容词后面接名词的概率比较大，所以模型更倾向于在形容词后面选着一个名词。
而 BiLstm+CRF 网络 就是将Bilstm的输出，也就是每个单词对应标签的值(注意BiLstm的输出建议不要使用sigmoid、tanh或softmax做转换)输入到CRF中。在CRF内部，首先会随机初始化一个[tag_size,tag_size]的矩阵A，tag_size就是标签的个数，所以Aij就代表标签i到标签j的转移概率。这个矩阵最后通过学习得到。
有了这个矩阵我们就可以对一个标签序列计算一个分值。
这里X就是我们观测到的语句，例如:刘媛被清华大学录取。y就是X的标签序列。T代表我们句子的长度，就代表t-1时刻的标签转移到t时刻标签的值，从标签转移矩阵A中获得，就是t时刻BiLstm的输出值。so,就是这么简单，一个标签序列的分数，只需简单的加法就可以得到。但是注意这里是一个分值，并不是一个概率值。需要用下面的公式将分值转换成概率。
这里 就是当前语句对应的所有标签序列的之和。假设包含10个单词，任务有3个标签，种标签序列。
接下来看下如何训练，对于语句都有答案序列，我们求出答案序列y的得分，使用softmax得到其概率，最后使用最大似然估计来求解，也就是最小化下面的损失函数：
简化下公式：
这里就是答案标签序列对应的分值，这个很容易计算，麻烦的是如何计算。其实这里不用太担心，因为我们只要求出了时刻的所有序列的值，就可以求出时刻所有序列的值。
下面是简单说明下：
假设我们的只有两个单词，所以可以拆解成
我们用和来分别代表
所以
而
带入原式就得到
而s1时刻所有序列的值正是
所以对于求，我们只需将每一时刻的序列总值求出即可。
上面就是在Bidirectional LSTM-CRF Models for Sequence Tagging这篇paper中提到的CRF方法，但这并不是CRF的全部，想要全面的了解CRF需要概率图模型的知识，这个后期会在做个详细的介绍。
2,代码篇
在tensorflow中使用CRF是很方便的一件事，因为tensorflow已经全部封装好了，一个方法即可调用。
log_likelihood, trans = tf.contrib.crf.crf_log_likelihood(
inputs=logits, # logits 就是Bilstm的输出，每个token对应的标签值，[batch_size,seq_len,tag_num]
tag_indices=self.labels,# 每个token对应的真实标签
sequence_lengths=self.lengths)# 每个样本的句子长度
方法返回的log_likelihood就是对应的loss值，trans 就是标签的转移矩阵。
建立train_op的时候，注意梯度下降的时候需要tf.reduce_mean(-log_likelihood)
train_op = tf.train.AdamOptimizer(learning_rate).minimize(tf.reduce_mean(-log_likelihood))
预测阶段
预测的时候就是在所有的标签序列中，找出分值最大的那个。这里要用到Viterbi算法，tensorflow同样也做好了封装。
decode_tags, best_score= tf.contrib.crf.crf_decode(potentials=logits, transition_params=trans, sequence_length=self.lengths)
输入：
logits : 就是Bilstm的输出，也就是每个词对于每个标签的分数。
transition_params : CRF训练出的标签转移概率矩阵。
sequence_length：预测样本的句子长度。
返回：
decode_tags:预测的最优标签序列。
best_score：预测的最优标签序列对应的分值。
3 Bert-Bilstm-CRF
在BERT使用详解(实战)介绍了Bert的使用方法，可以去看下。对于Bert-Bilstm-CRF 其实可以把Bert的输出看做是词向量，所以只需把原来词向量的部分用bert替换即可。
源码已经提交至GIT