一、常见应用
1.问答系统 (QA)
- 问答系统的目的是直接提供用户的答案
- 二问答系统和检索系统的区别:检索系统返回相关的结果,问
答系统则直接返回答案 - 问答系统需要更多语义方面的理解
问题类型
- Factoid QA (仿真QA)
- who/what/when/where
- 答案经常是一个短语
- Non-Factoid QA
- 问题的定义
- How/why?
- 答案很可能来自于多个段落
2.自动生成文本摘要
(1) Extractive Method(文本提取)
- 每个段落中提取某些句子,通过排序,生成文本摘要
(2) Abstractive Method(文本生成)
- 文章理解一遍,然后再总结形成内容
3.机器翻译
(1)Rule-based Method
- 语法树来构建机器翻译系统
(2)Statistical Method(统计翻译)
- IBM Model
- Deep learning
现有很多api可以调用
二、NLP需要具备的能力
- 扎实的数学基础、统计基础、数据结构与算法
- 重视机器学习,理解核心的细节
- 自然语言处理相关技术
- 编程,编程,编程
- 读论文/复现论文是Al工程师必备的能力