句法分析——CYK分析算法

CYK分析算法

  形式语言知识：形式语言

1 CYK算法的条件

  CYK算法（Coke-Younger-Kasami）算法，也是基于CFG规则的分析算法，是一种自底向上的分析算法，CYK算法分析需要的是乔姆斯基文法的范式化，即只有这两种规则：

1. $A\to w$
2. $A\to BC$

其中$A,B,C$为非终结符，$w$为终结符，因此需要先对文法进行范式化才能够进行CYK分析。CYK算法需要构造一个$(n+1)\ast (n+1)$识别矩阵，$n$为输入句子长度（句子：$x=w_1{w}_2\cdots w_n$，$w_i$为构成句子的单词）。识别矩阵的构成如下：

• 方阵对角线以下全部为0
• 主对角线以上的元素由文法$G$的非终结符构成
• 主对角线上的元素由输入句子的终结符号（单词）构成

2 算法描述

  构造识别矩阵步骤如下：

1. 首先构造主对角线，令$t_{0,0}=0$，然后从$t_{1,1}$到$t_{n,n}$在主对角线的位置上依次放入输入句子$x$的单词$w_i$；
2. 构造主对角线以上紧靠主对角线的元素$t_{i,i+1}$，其中$i=0,1,2,\cdots ,n-1$。对于输入句子$x=w_1{w}_2\cdots w_n$，从$w_1$开始分析：
   如果在文法$G$的产生式集中有一条规则$A\to w_1$，则填充$t_{0,1}=A$，依此类推，如果有$A\to w_{i+1}$，则$t_{i,i+1}=A$。即，对于主对角线上的每一个终结符$w_i$，所有可能推导出它的非终结符写在它的右边主对角线上方的位置上。
3. 按平行于主对角线的方向，一层一层地向上填写矩阵的各个元素$t_{i,j}$，其中$$\begin{gathered} i=0,1,\cdots ,n-d \\ j=d+i \\ d=2,3,\cdots ,n \end{gathered}$$
   如果存在一个正整数$k(i+1\le k\le j-1)$，在文法$G$的规则集中有产生式$A\to BC$，并且$B\in t_{i,k},C\in t_{k,j}$，那么将$A$写到矩阵$t_{i,j}$位置上。

  判断句子$x$由文法$G$所产生的充要条件是：$t_{0,n}=S$。下面两张图来解释构造识别矩阵的步骤：

3 示例

  给定文法$G(S)$如下：
$$\begin{gathered} S\to PVP \\ VP\to VV \\ VP\to VPN \\ P\to 他 \\ V\to 喜欢 \\ V\to 读 \\ N\to 书 \end{gathered}$$
使用CYK算法分析句子：他喜欢读书
  分析如下：
（1）汉语分词并词性标注得到：$他/P喜欢/V读/V书/N$。
（2）构造识别矩阵并根据文法规则执行分析过程：

  得到的分析树如下：

4 算法评价

  优点：简单易行，执行效率高。
  弱点：必须对文法进行范式化处理；无法区分歧义。

参考资料：《统计自然语言处理》宗成庆