rasa对话系统踩坑记(二)

rasa_nlu模型训练

当我们准备好了rasa_nlu需要的训练数据后,就可以开始训练rasa_nlu模型。github贡献的中文rasa_nlu的配置文件常见的有两种,一种是 Rasa_NLU_Chi贡献的基于mitie预训练中文词向量模型,yml配置文件如下:

language: "zh"

pipeline:
- name: "nlp_mitie"
  model: "data/total_word_feature_extractor_zh.dat"
- name: "tokenizer_jieba"
- name: "ner_mitie"
- name: "ner_synonyms"
- name: "intent_entity_featurizer_regex"
- name: "intent_classifier_mitie"

而total_word_feature_extractor_zh.dat清一色的都是使用的原作者基于wiki百科训练的数据模型;第二种是直接使用tensorflow_embedding,词向量转换后使用cos余弦相似度实现意图区分,配置文件如下:

 language: "zh"

 pipeline:
 - name: "tokenizer_jieba"
 - name: "ner_crf"
 - name: "intent_featurizer_count_vectors"
   OOV_token: oov
   token_pattern: '(?u)\b\w+\b'
 - name: "intent_classifier_tensorflow_embedding"

官网提出的建议是如果训练数据小于1000条采用第一种方案,如果训练数据大于1000条采用第二种方案,第二种方案存在的问题是oov(未登录词)问题。

rasa_nlu自定义component

ner_bilstm_crf

上面两套yml配置是比较常见的,但是在slot filling精确度上有时候不是很准确,所以我自定义了一套component,可以实现bilstm+ crf 和idcnn + crf两套实体识别的模型,然后将代码rasa_nlu_gao部署在pypi上,可以通过

pip install rasa-nlu-gao

将依赖install。在rasa_chatbot_cn这个demo中可以使用这两套模型,具体yml配置如下:

language: "zh"

 pipeline:
   - name: "tokenizer_jieba"

   - name: "intent_featurizer_count_vectors"
     token_pattern: '(?u)\b\w+\b'
   - name: "intent_classifier_tensorflow_embedding"

   - name: "ner_bilstm_crf"
     lr: 0.001
     char_dim: 100
     lstm_dim: 100
     batches_per_epoch: 10
     seg_dim: 20
     num_segs: 4
     batch_size: 200
     tag_schema: "iobes"
     model_type: "bilstm" # 模型支持两种idcnn膨胀卷积模型或bilstm双向lstm模型
     clip: 5
     optimizer: "adam"
     dropout_keep: 0.5
     steps_check: 100

jieba_pseg_extractor

上面对slot filling的精度进行了提高,但是前提还是需要有大量的训练数据,如果训练数据不多的话还是建议使用ner_crf。在项目过程中还遇到了一个问题,就是在人名识别卡住了,我们总不可能在训练数据上写满人名做训练,这不切实际。好在jieba有词性标注这个功能,帮我们实现人名的识别。然后我将jieba.posseg 实现在了rasa_nlu中,自定义了一个组件jieba_pseg_extractor,也是需要通过pip install rasa-nlu-gao下载,具体的yml配置文件如下:

language: "zh"

 pipeline:
 - name: "tokenizer_jieba"
 - name: "ner_crf"
 - name: "jieba_pseg_extractor"
   part_of_speech: ["nr", "ns", "nt"]
 - name: "intent_featurizer_count_vectors"
   OOV_token: oov
   token_pattern: '(?u)\b\w+\b'
 - name: "intent_classifier_tensorflow_embedding"

意外的惊喜是只要jieba能够实现的实体识别,这里都可以支持。除了可以人名识别,还可以做机构名识别,地名识别等等。

总结

上面是我在项目过程中自定义的两套components并将其部署到了pypi上,可以方便使用和下载,当然还会继续维护。其实rasa这套框架很好,特别方便自定义组件。源码也很好阅读。后续文章会分享rasa-core实现中的坑和解决方案。原创文章,转载请说明出处

你可能感兴趣的:(rasa对话系统踩坑记(二))