<Rasa实战>使用rasa test指令来评估nlu,core模型性能

目录

  • 参考:
  • 评估NLU模型
    • 参考:
    • 脚本执行步骤:
      • 步骤一: 先划分测试与训练数据
      • 步骤二: 执行rasa test nlu指令
      • 为了更有效率的进行nlu模型评估,可以直接执行以下指令
      • 还能比较不同的管道配置性能
  • 评估core模型
    • 执行以下指令

参考:

https://rasa.com/docs/rasa/command-line-interface/#rasa-test

评估NLU模型

参考:

https://rasa.com/docs/rasa/testing-your-assistant/#evaluating-an-nlu-model

脚本执行步骤:

步骤一: 先划分测试与训练数据

rasa data split nlu

执行此指令后,将在train_test_split产生以下文件:
<Rasa实战>使用rasa test指令来评估nlu,core模型性能_第1张图片

步骤二: 执行rasa test nlu指令

rasa test nlu --nlu train_test_split/test_data.yml

将在results目录下产生以下文件:
<Rasa实战>使用rasa test指令来评估nlu,core模型性能_第2张图片
其中需要重点关注的是
intent_errors.json

[
  {
    "text": "最大关卡数不同步",
    "intent": "gsccq_01_1",
    "intent_prediction": {
      "name": "gsccq_01_7",
      "confidence": 0.05531827360391617
    }
  }

这里说明,原本是gsccq_01_1意图的被识别为gsccq_01_7,此text需要优化

intent_confusion_matrix.png
<Rasa实战>使用rasa test指令来评估nlu,core模型性能_第3张图片
还有intent_histogram.png
<Rasa实战>使用rasa test指令来评估nlu,core模型性能_第4张图片

为了更有效率的进行nlu模型评估,可以直接执行以下指令

rasa test nlu
    --nlu data/nlu.yml
    --cross-validation

还能比较不同的管道配置性能

指令如下:

rasa test nlu --nlu data/nlu.yml
   --config config_1.yml config_2.yml

评估core模型

执行以下指令

rasa test core

将在results目录下产生以下文件:
<Rasa实战>使用rasa test指令来评估nlu,core模型性能_第5张图片

你可能感兴趣的:(Rasa3.0,Rasa,nlp)