＜Rasa实战＞使用rasa test指令来评估nlu,core模型性能

参考:

https://rasa.com/docs/rasa/command-line-interface/#rasa-test

评估NLU模型

参考:

https://rasa.com/docs/rasa/testing-your-assistant/#evaluating-an-nlu-model

脚本执行步骤:

步骤一: 先划分测试与训练数据

rasa data split nlu

执行此指令后,将在train_test_split产生以下文件:

步骤二: 执行rasa test nlu指令

rasa test nlu --nlu train_test_split/test_data.yml

将在results目录下产生以下文件:

其中需要重点关注的是
intent_errors.json

[
  {
    "text": "最大关卡数不同步",
    "intent": "gsccq_01_1",
    "intent_prediction": {
      "name": "gsccq_01_7",
      "confidence": 0.05531827360391617
    }
  }

这里说明,原本是gsccq_01_1意图的被识别为gsccq_01_7,此text需要优化

intent_confusion_matrix.png

还有intent_histogram.png

为了更有效率的进行nlu模型评估,可以直接执行以下指令

rasa test nlu
    --nlu data/nlu.yml
    --cross-validation

还能比较不同的管道配置性能

指令如下:

rasa test nlu --nlu data/nlu.yml
   --config config_1.yml config_2.yml

评估core模型

执行以下指令

rasa test core

将在results目录下产生以下文件: