NLP | 自动问答练习(DEEPQA调参)

最好结果

在这里插入图片描述

所做工作

主要对chatbot.py的network options和training options部分的参数进行了修改。

NLP | 自动问答练习(DEEPQA调参)_第1张图片

  • 每个参数都调过,最后numLayers从2调为10,learningRate为0.0001,其他的都还是原来的值。

  • 感觉对结果影响较大的是learningRate和dropout,随着loss越来越小,learningRate也要跟着减小,dropout原来是0.9,改小的话loss会变大,所以没怎么改它。

  • 不过最有效的还是多跑几个小时,我一共跑了4万多个step,大概花了一整天的时间,Loss从5点几降到0点几。

  • 据说把embedding_rnn_seq2seq改为 embedding_attention_seq2seq会很有效,但是我一改就会OOM,暂时没找到解决办法。。。

你可能感兴趣的:(NLP与知识图谱)