自然语言处理笔记-哈工大 关毅

目录

前言

硕士生涯结束，开始专心做一件自己觉得有用的工具，先做工程，后搞理论。
自然语言处理是一个非常难的问题，同时是人工智能皇冠上的明珠。
接下来会记录一系列自然语言处理的笔记，来自于哈工大老师关毅

绪论课程

课程定性

本门课程关注于最基础的部分，只会讲述不容置疑的基本点，以及一些使用的技术。
所以本门课程由两部分组成，1知识内容2动手实践。
自然语言处理概论。
一些段子，哈工大自然语言处理人超多，同时，工作原创性不够，其次，20年前的问题依旧是问题。

课程应用

机器翻译，数据库技术，语音识别。

个人经验

老师先做了一段时间的工程，后来发现做的东西都被时间所淘汰，于是，转而做持久的理论。

统计自然语言处理

本门课程主要专注于词法分析，句法分析，语义分析。
自然语言处理的历史，1946，自然语言处理的诞生。
目前人工智能陷入低谷，大家开始反思，究竟什么是智能。
什么是理解。
1高德纳的书，人和机器对于歧义的理解是不同的。
人工语言不允许语法错误，自然语言则各种语法错误。

自然语言处理绪论

1分词歧义2词性标准3语法分析歧义。4语义分析歧义。5语用分析歧义。
歧义很多，不好处理。
老师靠一个关键问题，拿到了微软的offer。
希望我们能掌握自己的核心技术。

自然语言处理绪论 二

取法其上，得乎其中；取法其众，得乎其上。
博采众家之长。优于众人的模型，参考文献。
建议两个工具
1思维导图
2endnote文献管理。
推荐书籍
自然语言处理综论，计算机自然语言处理。
自然语言定义：
研究人-人，人-机交互的语言的模型问题，提出一个语言处理的框架，理解语言本身的规律。
研制出更好人机的交互系统。

自然语言处理绪论 三

语义学模型：
1能力模型：1语言学规则2算法优化3将模型数学形式化。
2应用模型：1语言库2统计技术3建立计算框架处理语言。
自然语言处理的其他定义：
用人工方法来处理语言学的相应问题。
目前推荐的处理办法是：规则与统计相结合，提高处理效果。

自然语言处理绪论 四

资源介绍：
1基础资源
2应用资源
3使用资源
4评测标准
自然语言设计的学科
1音位学
2形态学
3词汇学
4语用学
5语义学
6句法学
自然语言处理的主要应用：
1发现句子与句子间的关系
2句子中的关系
3单词结构与规则
自然语言处理的资源与内容
1北大人民日报语料库
2现代汉语语法信息词典
3概念层次网络
4知网
评判一个技术有没有使用前景的一个方法：
1让工具为人服务，解放人类。