聊天系统的解决方案与挑战

讲师：三角兽 王宝勋博士
联系方式: [email protected]

背景介绍

Turing Test

Chat-bot

For practical bots

1. 聊天是基础模块
2. 聊天模块 + task completion模块 合作

Chat-bot's neighbors

1. QA系统

• Factoid
• Non-factoid

2. 对话系统
3. 在线客服

构建聊天机器人的方法论

• 技术借鉴

  1. Non-factoid question answering
  2. Community-based question answering
  3. QA corpus mining from online services
  4. FAQ mining
     ** Notes: 短文本的Similarity与Relevance是不同的概念**

• 方法

  1. 词共现
  2. 机器翻译
  3. LDA
  4. Meta-data based data filtering

• 2大方向

  1. IR-based Framework
  2. Generation-based Framework
  3. 共同挑战:
     • 聊天上下文的记忆
     • 融合现有知识
     • Personality

解决方案

如何度量短文本的Relevance

1. word2vec, Glove
2. sentence2vec

面临的挑战

1. 缺乏公共数据集
2. 聊天机器人的评价标准
   • 现有的评估标准借鉴于MT(BLEU, ROUGE)
   • 主观的评估标准很难设计
3. 场景切换(上下文非常重要)
4. 句子/段落的语义建模
5. 知识表示与知识引用
6. 生成式模型安全而无用的答案

结论

1. 自动聊天系统值得研究
2. 自动聊天系统会用到所有NLP技术
3. 仅仅深度学习是不够的，深度学习与传统机器学习相结合
4. No beer no bubbles.