实体识别的领域是建筑领域,处理的文本是《地铁设计规范》,2014 年 3 月 1 日开始施行的。
参考的基准代码是https://github.com/Determined22/zh-NER-TF,该源码设计的模型,参考的论文是这两篇,Bidirectional LSTM-CRF Models for Sequence Tagging
和Neural Architectures for Named Entity Recognition
(注:但是目前写这一篇时,尚未将代码和论文模型进行比对)
现将所更改的一些内容,进行记录。
1.因为我的实体类别粗粒度分为6类,细粒度分为18类,因此默认写死的tag2lable显得不太灵活
tag2label.png
并且对应于字编号,我将这一变量更名为tag2id,同时因为字编号的使用方式是写入文件,由使用方进行读取使用,所以tag2id也写入文件,分开两个文件写(TODO:可以写入同一个文件,参考ChineseNER这个代码的写法)
代码位置:data.py/vocab_build
def vocab_build(vocab_dir, corpus_path, min_count):
"""
:param vocab_dir:
:param corpus_path:
:param min_count:
:return:
"""
data = read_corpus(corpus_path)
# word2id筛选掉不满足字频的字,将其他字进行编号,并把英文用,数字用,然后再给未来没有在字典中的字留一个
# 用来代替,把不满足统一句子长度的句子用进行填充,形成这样子的一个字典;其中编号为0,为最大编号
# word2id = {'': 0, '': , '': , .. '': , '': , .. '': , '': , .. '': }
word2id = {}
tag2id = {}
tag_id = 0
for sent_, tag_ in data:
for word in sent_:
if word.isdigit():
word = ''
# A-Z, a-z
elif ('\u0041' <= word <='\u005a') or ('\u0061' <= word <='\u007a'):
word = ''
if word not in word2id:
word2id[word] = [len(word2id)+1, 1]
else:
word2id[word][1] += 1
for tag in tag_:
if tag not in tag2id:
tag2id[tag] = tag_id
tag_id += 1
low_freq_words = []
for word, [word_id, word_freq] in word2id.items(): # 其实这个word_id真的没用到,表示字加入字典时的序号
if word_freq < min_count and word != '' and word != '':
low_freq_words.append(word)
for word in low_freq_words:
del word2id[word]
# 后面修改一下按照字频去编号,这个也是参考https://github.com/zjy-ucas/ChineseNER
new_id = 1
for word in word2id.keys():
word2id[word] = new_id
new_id += 1
word2id[''] = new_id # 查找表中没有对应的自嵌入,被替换成UNK,使用UNK对应的嵌入
word2id[''] = 0 # 为了保证每个batch句子长度一致,用PAD对应嵌入填充句子
# print(len(word2id))
word_vocab_path = os.path.join(vocab_dir, 'word2id.pkl')
with open(word_vocab_path, 'wb') as fw:
pickle.dump(word2id, fw) # 将对象写入打开的文件中,二进制;反序列化load()
tag_vocab_path = os.path.join(vocab_dir, 'tag2id.pkl')
with open(tag_vocab_path, 'wb') as fw:
pickle.dump(tag2id, fw)
2.适应tag2id和word2id的使用方式
原有main.py中,只读取word2id,因为tag2id是写死的,如下图
读取word2id.png
改为
i读取word2id和tag2id.png
对应这个参数是文件夹,因此,将data.py/read_dictionary修改如下
def read_dictionary(vocab_dir):
"""
读取字典文件
:param vocab_path:
:return:
"""
word_vocab_path = os.path.join(vocab_dir, 'word2id.pkl')
with open(word_vocab_path, 'rb') as fr:
word2id = pickle.load(fr)
print('vocab_size:', len(word2id))
tag_vocab_path = os.path.join(vocab_dir, 'tag2id.pkl')
with open(tag_vocab_path, 'rb') as fr:
tag2id = pickle.load(fr)
print('vocab_size:', len(tag2id))
return word2id, tag2id
3.在这个预处理得到字编号的过程中,将不满足字频的字进行了删除,具体逻辑在data.py/vocab_build,字频限制使用min_count这个变量,对了,在开始训练前,需要先得到字编号和标签编号,因此首先需要在data.py中,我首先设置的词频是3,这个后面也可以作为要调的一个参数
if __name__ == '__main__':
'''
vocab_dir = 'data_path/rail_data18'
corpus_path = 'data_path/rail_data18/train_data'
'''
vocab_dir = 'data_path/rail_data6'
corpus_path = 'data_path/rail_data6/train_data'
min_count = 3
vocab_build(vocab_dir, corpus_path, min_count)
word2id, tag2id = read_dictionary(vocab_dir)
print(word2id)
print(tag2id)
4.将结果写入部分,进行了改动,源码中是unicode了,改为不进行编码
not encode.png
5.main.py中将训练数据的默认路径进行修改,如图
数据文件默认位置.png
源代码中是将测试数据用作验证用,但我有构造出验证数据,因此使用验证数据进行验证
dev_test1.png
dev_test2.png
6.添加perl语言的解析环境
windows
activeperl官网下载安装,命令行perl -v检查安装成功,但是需要重启电脑才能被识别到
linux
检查是否已经安装:perl -v,没有直接用rpm安装就可以了
7.将数据集放入相应的位置,就可以跑起来代码了
训练命令:
python main.py --mode=train
测试命令:
python main.py --mode=test --demo_model=1608281271
(后面那个数字为训练的模型)