用深度学习做命名实体识别(附代码)

用深度学习做命名实体识别(附代码)

 

基于CRF做命名实体识别系列
用CRF做命名实体识别(一)
用CRF做命名实体识别(二)
用CRF做命名实体识别(三)

一. 摘要

  • 之前用CRF做了命名实体识别,效果还可以,最高达到0.9293,当然这是自己用sklearn写的计算F1值,后来用conlleval.pl对CRF测试结果进行评价,得到的F1值是0.9362
  • 接下来基于BILSTM-CRF做命名实体识别,代码不是自己写的,用的github上的一个大佬写的,换了自己的数据集,得到最终的结果是0.92
  • 本文主要简单的介绍下BILSTM-CRF的原理,以及如何把大佬的数据集换成我们自己的数据集,进行训练。

二. 正文

如果你想细致地了解BILSTM,那你首先得去看RNN(循环神经网络),然后再看RNN的升级版本LSTM,最好才能过渡到BILSTM。了解完这些再去看CRF(条件随机场),CRF这边可又是一番天地了,等你了解完你的老板该炒你鱿鱼了。所以对于初学者我一向主张不择手段先把模型跑下来,跑出结果,然后才有信心去好好学习原理。在这里还是要好好感谢那位大佬。

1. BILSTM-CRF的原理简介

如果你不懂什么叫做BILSTM,CRF,没关系,你只要知道他们是命名实体识别里两个层就行,就像神经网络里的概念一样,层次结构。

 

用深度学习做命名实体识别(附代码)_第1张图片

BILSTM-CRF

 

如上图,这里面做了一件什么事情呢?

  • 输入是词向量,这个直接用word2vec训练就能得到
  • 输出是每个句子预测的标签

流程

词向量输入到 BILSTM层 ,然后输出值是这句话每个标签的预测分数,这些分数便是 CEF层 的输入,其实没有CRF层我们也可以训练 BILSTM,但是我们就不能保证每次预测的都是对的,因为它有可能胡来,比如第一个预测的是B-PER,下一个预测的是B-ORG,这就不符合自然语言的规则了,所以我们加入了CRF这一层,用来约束这些标签,它可以自动地去学习这些约束。
那么CRF是怎么学习这些约束的呢?
简单地说就是计算每个标签下一个标签地概率,概率大就有可能出现这样的标签,概率小就不会出现了。


2. 他山之石,可以攻玉

1). 保证代码运行正确

Chinese NER
大家点击去Clone下来就行
然后就是重点来了!!!
下载下来运行并不会那么顺利,会报错的

首先打开main.py文件,如果训练的话就是图中的两个True,如果测试的话就把图中的两个True改成False

flags = tf.app.flags
flags.DEFINE_boolean("clean",       True,      "clean train folder")
flags.DEFINE_boolean("train",       True,      "Wither train the model")
  • 错误1
    TypeError: slice indices must be integers or None or have an index method
    解决方案:遇到这个错误你就去data_utils.py文件里找到下面的代码,改一下即可
    def sort_and_pad(self, data, batch_size):
        num_batch = int(math.ceil(len(data) /batch_size))
        sorted_data = sorted(data, key=lambda x: len(x[0]))
        batch_data = list()
        for i in range(num_batch):
            batch_data.append(self.pad_data(sorted_data[i*int(batch_size) : (i+1)*int(batch_size)]))
        return batch_data
  • 错误2
    UnicodeDecodeError: 'utf-8' codec can't decode byte 0xa3 in position 0: invalid start byte
    解决方案:这个是编码问题,遇到这个问题你就进到utils.py里,找到下面的代码,加上一句encoding = 'utf-8'就OK了。我印象中是这几处,如果还报这个错误就继续排查类似的即可
def test_ner(results, path):
    """
    Run perl script to evaluate model
    """
    output_file = os.path.join(path, "ner_predict.utf8")
    with open(output_file, "w", encoding='utf-8') as f:
        to_write = []
        for block in results:
            for line in block:
                to_write.append(line + "\n")
            to_write.append("\n")

        f.writelines(to_write)
    eval_lines = return_report(output_file)
    return eval_lines

def save_config(config, config_file):
    """
    Save configuration of the model
    parameters are stored in json format
    """
    with open(config_file, "w", encoding="utf8") as f:
        json.dump(config, f, ensure_ascii=False, indent=4)


def load_config(config_file):
    """
    Load configuration of the model
    parameters are stored in json format
    """
    with open(config_file, encoding="utf8") as f:
        return json.load(f)
  • 错误3
    NameError: name 'os' is not defined
    这个错误很奇怪,我是看到作者代码里有导入os的
    解决方案:import os

2). 更换数据集

打开下载下来的文件,data文件夹里面有三个文件,分别为验证,测试,训练数据集,你只需把你的数据集切分成这三份即可(比例自己定,我的是7:2:1)。

  • 标签必须得是BIO格式,总之你的标签要和它的一模一样。
  • 还有标识符,windows生成的数据集文件我们发现换行符都是\r\n,也就是在notpad++上打开的话,显示所有标识符后会发现CRLF,我们要把它改成LF。
    可以用替换的方法,直接把\r\n替换成\n,这样就满足条件了

3). 训练

这些操作之后你就可以运行main.py了

三. 总结与展望

最近一直在努力地理解这些个原理,争取早日攻克它们。大家工作的话一般项目会比较紧急,没有时间给你慢慢理解原理,然后再去写代码做项目。所以要学会用别人的代码,改造它们,让它为自己所用。最后很感谢github的那位大佬,真的很厉害。希望这篇博客能帮到大家,谢谢各位


以下是我所有文章的目录,大家如果感兴趣,也可以前往查看
?戳右边:打开它,也许会看到很多对你有帮助的文章

你可能感兴趣的:(用深度学习做命名实体识别(附代码))