语言处理过程的层次

文字表达句子的层次：词素→词或词形→词组或句子。
声音表达句子的层次：音素→音节→音词→音句。
语言处理过程分为五个层次：语音分析、词法分析、句法分析、语义分析和语用分析。
语用分析：研究语言所存在的外界环境对语言使用产生的影响。
构成单词发音的独立单元是音素。上下文不同而发音不同。
语音分析：根据音位规则，从语言流中区分出一个个独立的音素，再根据音位形态规则找出一个个音节及其对应的词素或词。

词法分析

定义：从句子中切分出单词，找出词汇的各个词素 ，并确定其词义。
例：unchangeable：un-change-able

英语词法分析特点：

切分单词容易，找出词素复杂。
例：importable分为import-able或im-port-able
词法分析算法举例：
repeat
look for word in dictionary
if not found
then modify the word
Until word is found or no further modification possible
例如：对于单词catches、ladies可以做如下的分析。
catches ladies, 词典中查不到
catche ladie 修改1：去掉s
catch ladi 修改2：去掉e
lady 修改3：把i变成y
这样，在修改2的时候，就可以找到catch，在修改3的时候就可以找到lady。
ly副词后辍；
ed动词过去分词

汉语词法分析特点：

找出词素简单，切分出词困难。
例如：优秀人才学人才学

1. 优秀人－才学人才学
2. 优秀人才－学人才学

句法分析: 乔姆斯基的形式文法

3型文法：正则文法

左线性文法：A→Bt 或 A→t(A→Bt→Ct*t)
右线性文法 ： A→tB或A→t

2型文法：上下文无关文法

产生式规则：A→x

1型文法: 上下文有关文法

产生式规则: x→y
例：AB→CDE √ ABC→DE × XaY→XbY

0型文法：无约束短语结构文法

产生式规则: x→y

语义分析

语义分析是将句法成分与应用领域中的目标表示相关联。
简单做法：依次使用独立的句法分析程序和语义解释程序。
缺点：使句法分析、语义分析分离
语义文法
格文法
目的：为了找出动词和跟动词处在结构关系中的名词的语义关系，同时也涉及动词或动词短语与其他的各种名词短语之间的关系。
特点：允许以动词为中心构造分析结果，尽管文法规则只描述句法，但分析结果产生的结构却对应于语义关系，而非严格的句法关系。
例：Mary hit Bill
Bill was hit by Mary
(Hit(Agent Mary) (Dative Bill))
欢迎大家加我微信交流讨论（请备注csdn上添加）