基于BiLSTM+CRF医学病例命名实体识别项目
一、研究背景
为通过项目实战增加对命名实体识别的认识，本文找到中科院软件所刘焕勇老师在github上的开源项目，中文电子病例命名实体识别项目MedicalNamedEntityRecognition。对其进行详细解读。
原项目地址：https://github.com/liuhuanyong/MedicalNamedEntityRecognition
修改版项目地址（详细注释）：待补充
二、项目介绍
数据来自CCKS2018的电子病历命名实体识别的评测任务，是对于给定的一组电子病历纯文本文档，识别并抽取出其中与医学临床相关的实体，并将它们归类到预先定义好的类别中。共提供600份标注好的电子病历文本，共需识别含治疗方式、身体部位、疾病症状、医学检查、疾病实体五类实体。
领域命名实体识别问题自然语言处理中经典的序列标注问题， 本项目是采用BiLSTM+CRF构建模型。
病历结构如下图所示：
三、神经网络结构图
四、实验数据
1、数据格式：
评测方提供了四个目录(一般项目, 出院项目, 病史特点, 诊疗经过),四个目录下有txtoriginal文件和txt标注文件,内容样式如下:
一般项目-1.txtoriginal.txt
女性，88岁，农民，双滦区应营子村人，主因右髋部摔伤后疼痛肿胀，活动受限5小时于2016-10-29；11：12入院。
一般项目-1.txt:
右髋部 21 23 身体部位 #实体 实体首字符在“一般项目”病历描述中的位置 实体尾字符在病历描述中的位置
疼痛 27 28 症状和体征
肿胀 29 30 症状和体征
2、对分类目标进行标记
O非实体部分,TREATMENT治疗方式, BODY身体部位, SIGN疾病症状, CHECK医学检查, DISEASE疾病实体
3、序列标记方法
采用BIO标注：将每个元素（字）标注为“B-X”、“I-X”或者“O”。其中，“B-X”表示此元素所在的片段属于X类型并且此元素在此片段的开头，“I-X”表示此元素所在的片段属于X类型并且此元素在此片段的中间位置，“O”表示不属于任何类型。如：人 O；咳 SIGNS-B；嗽 SIGNS-I。
五、项目介绍
1、transfer_data.py文件
该脚本构建了一个TransferData类，将文本数据转化为实体序列标注数据，作为模型的输入变量。
如，女性，88岁，农民，双滦区应营子村人，主因右髋部。转化为下图序列：
import os
class TransferData:
def __init__(self):
cur = '/'.join(os.path.abspath(__file__).split('/')[:-1]) #获取当前文件地址的上级目录
#对分类进行标记
self.label_dict = {
'检查和检验': 'CHECK',
'症状和体征': 'SIGNS',
'疾病和诊断': 'DISEASE',
'治疗': 'TREATMENT',
'身体部位': 'BODY'}
self.origin_path = os.path.join(cur, 'data_origin') #原始数据地址
self.train_filepath = os.path.join(cur, 'train.txt') #转化后的训练数据地址
return
def transfer(self):
f = open(self.train_filepath, 'w+',encoding='utf-8') #以写入的方式打开训练数据要保存的文件
count = 0
for root,dirs,files in os.walk(self.origin_path):
#for (root, dirs, files) in walk(roots)：
# roots代表需要遍历的根文件夹；
# root表示正在遍历的文件夹的名字（根/子）；
# dirs记录正在遍历的文件夹下的子文件夹集合；
# files记录正在遍历的文件夹中的文件集合
for file in files:
filepath = os.path.join(root, file)
if 'original' not in filepath:
continue
label_filepath = filepath.replace('.txtoriginal','')
print(filepath, '\t\t', label_filepath) #data_origin\一般项目\一般项目-1.txtoriginal.txt data_origin\一般项目\一般项目-1.txt
content = open(filepath,encoding='utf-8').read().strip() #打开案例描述文件，去掉收尾空格
res_dict = {}
for line in open(label_filepath,encoding='utf-8'): #打开实体类别文件
res = line.strip().split(' ') #每个实体描述按空格分隔 ['右髋部'，‘21’，‘23’，‘身体部位’]
start = int(res[1]) #实体的其实字符位置
end = int(res[2]) #实体的结束字符位置
label = res[3] #实体类别
label_id = self.label_dict.get(label) #返回分类字典中实体类别对应的values，作为实体名称的id
for i in range(start, end+1):
if i == start:
label_cate = label_id + '-B' #定义实体的首字符
else:
label_cate = label_id + '-I' #实体的非首字符
res_dict[i] = label_cate #构建实体字典{位置index:字符}
for indx, char in enumerate(content): #indx文本中字符的位置，char字符
char_label = res_dict.get(indx, 'O') #如果indx在字典的key中，则返回字典value；否则返回O，代表非实体
print(char, char_label) #字符：字符实体标注
f.write(char + '\t' + char_label + '\n')
f.close()
return
if __name__ == '__main__':
handler = TransferData()
train_datas = handler.transfer()
2、lstm_train.py文件
（1）build_data函数：构建数据集
[[['给','予','应','用','活','血','化','瘀','药','物'],['O','O','O','O','TREATMENT - B','TREATMENT - I','TREATMENT - I','TREATMENT - I','TREATMENT - I','TREATMENT - I']],
（2）modify_data函数：将数据转换成keras所需的格式
x_train [['给','予','应','用','活','血','化','瘀','药','物'],[...],[...]]
y_train [['O','O','O','O','TREATMENT - B','TREATMENT - I','TREATMENT - I','TREATMENT - I','TREATMENT - I','TREATMENT - I'],[...],[...]]
（3）load_pretrained_embedding函数：加载预训练好的词向量
（4）build_embedding_matrix函数：使用样本数据到词向量中查表，生成训练用的词向量矩阵。
（5）tokenvec_bilstm2_crf_model函数：使用样本词向量作为Embedding输入，构建BiLSTM+CRF模型框架
（6）train_model函数：对模型进行训练