SpaCy v2.0(七)实例 - 训练分析模型Parser for custom semantics

训练parser for custom semantics 自定义语义分析

用这个模型可以训练自定义的语义中的分词关联关系,比如在样例中定义了几个自定义的关系:ROOT, PLACE, QUALITY, ATTRIBUTE, TIME, LOCATION等等。

在example/training中有spaCy提供的几个模型训练样例,直接拷贝一个train_intent_parser.py 到 spaCy 的根目录,然后修改代码中的训练语料,修改为中文训练语料:

TRAIN_DATA = [

    ("找无线质量好的咖啡厅", {

        'heads': [0, 5, 1, 2, 5,  0, 333, 333, 333, 333],  # index of  token head

        'deps': ['ROOT',  'ATTRIBUTE', 'ATTRIBUTE', 'QUALITY', '-', PLACE, '-', '-', '-', '-']

    })

]

其中,heads和deps的规则如下:

例句:找无线质量好的咖啡厅

首先,spaCy引入了结巴分词,例句首先通过结巴进行分词,分词结果为:找 无线 质量 好 的 咖啡厅。接下来是句子结构,找—咖啡厅 无线—咖啡厅 无线--质量质量--好

heads:输入各分词所依赖的分词的索引号(索引号为:找-0无线-1 质量-2 好-3 的-4 咖啡厅-5)

在这个例句中的核心词是找,那么句中各分词的heads定义为:

找:0(根)

无线:5(咖啡厅)

质量:1(无线)

好:2(质量)

的:5(咖啡厅)

咖啡厅:0(找)

对应的索引号是每个分词按句子结构中对应的分词的序号,核心词对应的是自己。

deps:

找:ROOT

无线:ATTRIBUTE

质量:ATTRIBUTE

好:QUALITY

的:- (没有实际意义的词,结构助词之类的,随意用个符号表述即可)

咖啡厅:PLACE

需要注意的是:在本样例中,spaCy是按照汉字的字数来计算heads和deps中的参数数量的,而进行标注时是以分词为单位标注和计算序号的,所以训练数据中的写法为:

("找无线质量好的咖啡厅",{

        'heads': [0, 5, 1, 2, 5, 0, 333, 333,333, 333],  # index of token head

        'deps': ['ROOT', 'ATTRIBUTE','ATTRIBUTE', 'QUALITY', '-', 'PLACE', '-', '-', '-', '-']

    })

heads中前6个为有效序号,而句子的实际字数是10个,需要有10个数字,所以后面4个333是随意填充的。

deps同理,前6个是有效标记,后面4个是填充的。

接下来运行

python train_intent_parser.py -m zh_model -o zh_model

test_text = "找无线质量好的咖啡厅"

输出结果为:

[('找', 'ROOT', '找'), ('无线', 'ATTRIBUTE', '咖啡厅'), ('质量', 'ATTRIBUTE', '无线'), ('好', 'QUALITY', '质量'), ('咖啡厅', 'PLACE', '找')]

在zh_model目录中可以看到生成了parser目录,目录结构如下:

zh_model

└──parser

    ├──cfg

    ├──lower_model

    ├──moves

    ├──tok2vec_model

    └──upper_model

打开cfg文件查看,可以看到其中的labels已经有了ROOT、ATTRIBUTE、QUALITY、PLACE等等labels。

到此,中文的自定义语义关系parser模型就训练完成了,对于精度提升,需要准备至少几百条标注语料才能达到一定的好结果,准备好语料后重新运行训练代码即可。

文中完整代码可参考 https://github.com/jeusgao/spaCy-new-language-test-Chinese

你可能感兴趣的:(SpaCy v2.0(七)实例 - 训练分析模型Parser for custom semantics)