rasa对话系统踩坑记（十）

前言

2018年底了，rasa对话系统踩坑记系列文章最后一篇，刚好是十，也算是十全十美。看似像凑数的，但这篇绝对也是满满的干货。看过我前面几篇文章的同学都知道，我几乎不列公式的，因为markdown写公式好麻烦的说，而且我觉得讲清楚好难。所以我一直美化自己是攻城狮，喜欢实战，喜欢解决问题，可能也是因为从开发转做nlp的缘故。正所谓：

no bb, show me the code, show me the result.

自定义rasa-core transformer policy

废话不多说，看这个二级标题就知道这篇要讲的是rasa-core的自定义policy，也是我认为剩下的几个rasa系列重要的点了。前面讲过了自定义rasa-nlu的好些个组件，也结合过最新火热的bert，由于懒所以自己另外发布了rasa-nlu-gao包。

rasa-core官方提供的核心policy有两个，分别是keras-policy和embedding-policy，在rasa对话系统踩坑记（六）对这两个进行过比较，但是总觉得还有好多提升的空间。keras-policy写的太简单啦，根本不能满足复杂业务的需求。embedding-policy训练太慢啦，毕竟LSTM的缘故，而且输入还要求是all stories。所以就想到了将transformer这个明星纳入policy的家庭。（不要问我为什么不给官网提pr，太磨叽了，放个圣诞节，作者一个礼拜没上线。后面如果添加更多的policy，我会考虑发布个rasa-core-gao）

代码传送门：rasa_chatbot_cn

• 运行结果的命令：python bot.py train-dialogue-transformer
• 对比policy的命令：make compare-policy
• 可视化对比结果的命令：make evaluate-policy

keras-policy、embedding-policy和transformer-policy测试对比

compare_policy.png

这个我只是简单的跑了下，参数还没怎么好好调试，欢迎各位入坑。

transformer-policy注意的点

写自定义policy也踩了不少坑，这里有几点需要尤其注意：

• 核心的方法当然是model_architecture，这个方法需要写入自定义的model。
• load方法，这里为啥我需要将load方法重新写一遍，主要是这里在load_model的时候需要传入custom_objects参数。一开始我没传入custom_objects参数，一直报错一直找不到原因，后面无意中发现了这个参数才知道keras自定义model需要将类传入该参数中。
• attention_keras.py这个python文件定义了Attention is All You Need中的两个类，一个是Position_Embedding，一个是Self Attention，具体公式可参阅论文。
• AttentionPolicy类中的模型，主要是在Position_Embedding、Self Attention之后连接了个全局池化、Dropout层以及最后的全连接层softmax，特征的提取用位置编码和全局attention取代了LSTM，使得模型训练起来很快，比embedding-policy效果高的不是一点。
• 当然关于transformer-policy还可以进一步优化，提取完特征在分类器那边可以做的再细化点。还是需要多compare policy，综合对比后再选择适合自己的policy。

总结

关于transformer-policy就说到这儿，后续会根据项目需要加入更多更实用的policy，但应该不会再写这方面的踩坑文章了。然后就是对这一个系列的rasa踩坑文章的总结了。我接触rasa-nlu和rasa-core是在8月份，当时是因为项目需要，期间踩了太多坑。越用越觉得rasa很赞，灵活性很高。但无奈网上rasa的文章太少，文档不及时，项目代码千篇一律，一个模子里刻出来的。期间不停地翻看源码，有了更多的收获和认识，所以就萌发了写点东西的想法，这样既能帮助别人又可以当做自己的记录笔记，挺好的。中间还认识了不少朋友，能帮助到大家真的很开心，我会继续努力的。
最后祝大家新的一年顺利、充实，每天都有进步，元旦快乐。: )

原创文章，转载请说明出处

参考

Attention is All You Need
attention_keras