双向 LSTM-CRF 实现命名实体识别

今天我们来学习 NER——Named entity recognition,命名实体识别,即识别出文档中具有特定意义的实体,例如人名、地名、机构名、专有名词等。

命名实体识别主要用来提取结构化信息,是信息提取、问答系统、句法分析、机器翻译等应用领域的重要工具。例如,可以用来自动识别简历中的电子邮件、电话号码、学位信息;可以从法律、金融和医疗等领域的文档中提取重要的实体,用于后续的分类和搜索等;用于识别新闻中的人物、机构、地点等标签,进而自动做文档分类;用 NER 来推荐与实体相关的内容,例如当用户浏览了一篇文章后,可以向他推荐具有相似实体的其他文章;还可以用于客服系统,当用户们写评论抱怨产品时,可以自动提取其中的地点、产品等实体信息,然后分配给相应的部门处理等等。

实现 NER 同样也有基于规则的传统方法,机器学习算法,还有深度学习算法,目前 state of art 的模型列表如下图所示:

双向 LSTM-CRF 实现命名实体识别_第1张图片

数据来源

今天我们先来学习最基础的 BiLSTM-CRF,ELMo、BERT 我们会在后面的课程中慢慢深入。

BiLSTM-CRF 模型的原理

为了简化说明,这里我们假设只有人物和机构两类实体,于是有下面五种实体标签:

B-Person
I-Perso

你可能感兴趣的:(自然语言处理面试基础)