机器学习项目（二） 人工智能辅助信息抽取（十一）

信息抽取深度学习综述

Survey

A Survey on Deep Learning for Name Entity Recognition

Flair Embedding

Contextual String Embeddings for Sequence Labeling

基于字符的language model

IDCNN-CRF

膨胀卷积
Fast and Accurate Entity Recognition with Iterated Dilated Convolutions
这里使用的是4个大的相同结构的Dilated CNN block拼接在一起
每个block里面是dilation width 为1,1,2的三层Dilated卷积层

Lattice LSTM

Chinese NER Using Lattice LSTM

针对中文NER的网络结构

基于字符级别的LSTM模型引入词级别的信息，而又不引入分词错误
若当前字符与前面的字符组成了在词典中的词，那么将词信息联合字符，更新记忆状态

BILSTM-ATT

An attention-based BiLSTM-CRF approach to document-level chemical named entity recognition

CAN-NER

CAN-NER:Convolutional Attention Network for Chinese Named Entity Recognition
1.使用了字向量、分词向量和位置向量，卷积N-gram信息
2.局部attention(local attention)捕捉窗口范围内当前字和周围字的依赖
3.全局的attention捕捉句子级别的全局信息

TENER

TENER:Adapting Transformer Encoder for Named Entity Recognition
使用Transformer做特征提取，采用了新的attention scores的计算方式

A Multi-task Approach

A Multi-task Approach for Named Entity Recognition in Social Media Data
将NER任务拆分为多任务
1.当前token是不是实体的二分类任务
2.是实体token的具体细粒度的分类

NRE

清华thunlp openNRE

CNN

Relation Exception:Perspective from Convolutional Neural Networks
输入层word embedding + position embedding 用多个不同尺寸个卷积核 + max pooling 生成句子向量表示，经softmax输出最终leibie

R-CNN

Classifying Relations by Ranking with Convolutional Neural Networks
输入层 word embedding + position embedding 用6个卷积核 + max pooling 生成句子向量表示，用关系(类别)向量做点积求相似度，作为关系分类的结果
损失函数用的是pairwise ranking loss function

ML-ACNNS

Relation Classification via Multi-Level Attention CNNs
用了两个层面的Attention ,一个是输入层对两个entity的注意力，另一个是在卷积后的pooling阶段，用attention pooling代替max pooling来加强相关性强的词的权重。

R-BERT

Enriching Pre-trained Language Model with Entity Information for Relation Classification
1.率先将BERT用在了关系抽取任务上，探索了实体和实体位置在预训练模型中的结合方式
2.可以通过在实体前后加标识符的方式表明实体位置，代替传统位置向量的做法，论文也证实了这种方法的有效性

DSR

Matching the Blanks:Distributional Similarity for Relation Learning
BERT,通过6种不同结构来进行实体pair的pooling,然后将pooling进行关系分类或关系相似度计算，显示(f)效果最好

Joint Model

End-to-End Relation Extraction using LSTMs on Sequences and Tree Structures
1.Sequence layer(word sequence based LSTM-RNN layer)负责实体识别
2.Dependency layer(dependency subtree based LSTM-RNN layer)负责关系分类