实体抽取学习笔记

NLP信息抽取任务：
实体抽取
关系抽取
事件抽取

命名实体抽取：
用于序列标注的双向LSTM-CRF模型

前期知识储备

概率图模型：HMM、CRF

LSTM

词向量

深度学习

学习目标

脉络

论文研究背景、成果及意义

研究背景
命名实体识别是什么

分类和序列标注区别：
序列上每个元素不是独立的，序列标注输入是特征序列，输入为类别序列。
如文本，文本中每个元素都有一个标签

序列标注的标注体系

O: other
I :inner
B: begin
E:end
S：single

IO :31+1种表示方式，标签序列转化为ID1110022030
BIO：32+1种表示方式(常用)
BIOES:3*4+1种表示方式

明明实体发展历程

序列标记包括了词性标记(POS)、分块和命名实体识别（NER），一直是经典的NLP任务.

现有的序列标记模型大多数是线性统计模型：
HMM隐式马尔科夫
MEMMs最大熵马尔科夫模型
CRF条件随机场

最近提出了基于卷积网络的模型来解决序列标记问题，Conv-CRF。由卷积网络和CRF层组成。Conv-CRF模型在序列标记任务上产生了良好的结果。

研究成果

研究意义

论文结构

摘要

下节内容：

论文算法模型总览
概率图模型

HMM：
马尔科夫模型：
通过过去的观测推荐后面的状态
一阶马尔科夫模型

隐马尔科夫模型：
有隐含的状态，无法观测，只能推测
数学定义：


HMM的初始隐状态概率

HMM转移概率

HMM发射概率

HMM的3个基本问题

极大似然估计进行监督学习

用HMM序列标注问题

CRF条件随机场
有两个假设
齐次马尔科夫假设（只与前面一个相关）
观察独立假设

特征函数：

参数化形式

从特征到概率

CRF VS HMM

BiLSTM-CRF

BiLSTM+CRF模型结构

STEP 1 Word Embedding
基于分布式假设的预训练语言模型，假设两个语义相近的词在高维空间中更近。
且两个词的距离有某种隐含的语义 man–woman=queen-king

1.训练的时候遇见词A1，标签是K，测试时候遇见训练没见过的A1,由于两个词Embedding距离近，则可以以将A2预测为K
2.根据部分特征学习
Step 2:BiLSTM提取文本特征

解决梯度消失或者梯度爆照

从LSTM到BiLSTM

step3:得到P矩阵



CRF约束标签，纠错，减少出错情况

step 4 :CRF层的引入

转移分数矫正发射分数不合理地方

step 5:最终结果的计算

路径分数 score=发射分数+转移分数

损失函数与维特比解码

前向算法

Viterbi算法 解决预测问题

CRF损失函数

当前节点德凡

所有路径得分

预测：

实验结果和论文总结

论文总结


拓展:

oov 问题
out of vacabulary
第二点重要

neural N

实践

参考：
内容来自与LSTM-CRF 知识图谱、信息抽取中最经典。。。
代码 ：
https://github.com/macanv/BERT-BiLSTM-CRF-NER

https://github.com/zjy-ucas/ChineseNER
将main.py的clean，train改为true,运行main则可直接训练
如果运行报错，参考https://blog.csdn.net/qq_36591505/article/details/105118633