语义分析笔记

 

1 语义分析定义

在一个社会网络中常有节点之间的信息交流。可以对这种社会网络进行分析的一种强大的用来获得和理解文本信息的技术被称为语义网消息传输分析（语义分析）。作为一个在人工智能和计算语言学的方法，它为知识推理和语言提供了一个结构和过程。

白话就是理解一段自然语言文本的含义，让计算机去理解。

http://www.nlpr.ia.ac.cn/cip/ZongReportandLecture/Lecture_on_NLP/Chp-10.pdf

 

2 语义分析应用领域

当前的搜索基本上就是靠关键字来匹配搜索结果，下一代搜索会对搜索输入和数据库文本进行语义分析，比如以前搜索苹果只会搜索出文档内容包含苹果的网页，采用语义分析也可能会搜索出包含乔布斯的网页。

例子

http://stblog.baidu-tech.com/?p=1190

 

3 信息论基本概念

• 熵：随机变量的熵越大，他的不确定性就越大，正确估计其值的可能性就越小，需要更多的信息量来确定他的值。
• 互信息：I(X|Y) 当知道了Y之后，X的不确定性的减少量，也就是Y的值透露了多少关于X的信息量。

4 自然语言处理技术的两大分类：

• 理性主义，基于规则的，采用演绎法，如形式化语言，有限状态模型
• 经验主义，基于统计的，如马尔科夫、贝叶斯等。