【计算理论】03 上下文无关文法与下推自动机

前瞻

在上下文无关文法与下推自动机章节，有一些知识点着重掌握：

1. 上下文无关文法的定义，以及语法分析树
2. 语言文法的推导，如何化繁为简，拆分文法
3. 乔姆斯基范式的改写
4. 泵引理，以及区分证明是上下文无关（构造法）与证明不是上下文无关（反证法）的思路
5. 语言封闭性，上下文无关语言对交运算不封闭，该证明是用特例证的；而在交、链接、星运算下是封闭的，使用构造法证明；补的封闭性证明，以及正则与上下文无关之间的封闭性证明，不做要求。

上下文无关文法

在正则语言章节，我们首先学习了有穷状态机，然后学习的正则表达式；这是因为有穷状态机较正则表达式更加直观。

而对于上下文无关语言，使用上下文无关文法表述相对更加简洁和易懂（四元组），而下推自动机会显得更复杂些。

因此，本章将遵循黑书的逻辑，从上下文无关文法入手。

如果一个语言能够被上下文无关文法（context-free grammar, CFG）接受，则称该语言为上下文无关语言（context-free language, CFL），对应下推自动机（pushdown automaton, PDA）。

上下文无关文法的形式化定义为一个4元组：$(V,\Sigma ,R,S)$，分别为：

• 有穷的变元（variable）集合$V$；
• 与$V$不相交的符号集$\Sigma$，称终结符集（terminals）；
• 有穷规则集（rules）$R$；
• 起始变元$S\in V$。

上下文无关文法由多条替换规则（substitution rules）构成，每条规则包含箭头左侧的变元和右侧的替换串，例如
$$S\to aS|ϵ$$
就是一条替换规则，其变元为$S$，替换串为$aS|ϵ$，$a|ϵ$为终结符，该规则代表的语言为$\{a^n|n\ge 0\}$。

从上面这条规则也可以看出，上下文无关语言允许正则化的定义，这使得语言拥有更高的表示能力。

使用上下文无关文法派生字符串的过程称为语法分析（parse），可用语法分析树（parse tree）表示，后文简称语法树。例如，对下面的语言：
$$\begin{gathered} A\to 0A1 \\ A\to B \\ B\to \# \end{gathered}$$
其派生字符串$000\#111$的过程可以表示为：

CFG的设计

设计上下文无关文法，可以参考以下思路：

1. 化繁为简，利用封闭运算（并补星）进行构造
2. 利用正则，先构造DFA，然后将这个DFA转换为CFG
3. 考量子串
4. 利用递归

例题

例1：构造$\{0,1{\}}^{\ast }$

解：$A\to \epsilon |0A|1A$

例2：构造$\{w|w至少包含3个1,\Sigma =\{0,1\}\}$

解：

3个1有4个空位可以填任意数量0,1，$\{0,1{\}}^{\ast }$填进去就行

$$\begin{gathered} A\to B1B1B1B \\ B\to \epsilon |0B|1B \end{gathered}$$

例3：构造$\{w|w长度为奇数,正中间为0,\Sigma =\{0,1\}\}$

解：

先构造最简单的情况——$0$，然后两边递归补等长字符。

$$\begin{gathered} A\to B|0A0|0A1|1A0|1A1 \\ B\to 0 \end{gathered}$$

例4：构造$\{w|w中1比0多\}$

解：

先构造0和1一样多，然后构造多1

$$\begin{gathered} A\to 1B|1A|AB|BA \\ B\to \epsilon |01B|10B|0B1|1B0 \end{gathered}$$

例5：构造$\{w|w=w^{\mathcal{R}}\}$，即回文

解
$$A\to \epsilon |0A0|1A1$$

乔姆斯基范式

通过乔式派生长度为n的串，应该刚好需要2n - 1步，可据此进行穷举，判断可识别性。

乔式给出了上下文无关文法的简化表示，乔式的基本形式包含两类规则：
$$\begin{gathered} A\to BC \\ A\to a \end{gathered}$$
分别代表一个变元到两个变元的变换，以及一个变元映射到一个终结符的变换；只有起始变元可以存在规则$S\to ϵ$，且起始变元只能出现在左侧。

转换过程：

1. 添加起始变元$S_0\to S$

2. 剔除$ϵ$，例如$B\to 00|ϵ$

   • B 如果不取空，则不做处理

   • B 取空，则在任何右侧存在B的规则的字符串中，加入B取空后的字符串

     例如$A\to BAB|B$，要变为$A\to BAB|B|BA|AB|A|ϵ$

3. 剔除单一的变元映射，例如$A\to B$，并将右侧的变元对应的字符串补到左侧变元字符串中

   例如$A\to BAB|B|BA|AB|A|ϵ,B\to b$，要变为$A\to BAB|BA|AB|ϵ|b,B\to b$.

4. 整理终结符映射，例如补充$U\to u$

5. 拆分子串大于2的变换，例如$A\to BAB$

   要变为$A\to CB,C\to BA$

2n-1定理证明

已知，乔式每步只会进行两种可能的变换
$$\begin{array}{lc}A\to BC& -(1)\\ A\to a& -(2)\end{array}$$
一个长度为$n$的派生串，包含$n$个终止符，需要经历$n$步$(2)$，和$n-1$步$(1)$。终止符变换很好理解，另一种可以使用归纳法进行推导。
$$\begin{array}{l}设串长n对应的变换，证明：使用乔姆斯基范式进行派生，包含n-1步(1)式。\\ \begin{array}{ll}1.& n=1时，显然成立\\ 2.& n=2时，需要经过1次形如A\to BC的变换，成立\\ 3.& 设n=k时，需要k-1次变换成立\\ 4.& 当n=k+1时，由于增加了一个终止，则必定在某处，存在一个新增的形如A\to BC的变换，\\ & 使得语法树可以多一个叶子，此时需要k=(k+1)-1次变换，成立\end{array}\end{array}$$
综上，可知如果一个CFG为乔姆斯基范式，则其派生长度为$n$的串，需要经过$2n-1$步

这个定理在可判定性章节还会用到，用于证明CFG的派生可判定性$A_{CFG}=\{(G,w)|G为CFG,w可被G派生\}$

例题

例题：转换下面的上下文无关文法到乔姆斯基范式。
$$\begin{gathered} S\to ASA|aB \\ A\to B|S \\ B\to b|ϵ \end{gathered}$$
解：

1. 添加起始变元
   $$\begin{gathered} S_0\to S \\ S\to ASA|aB \\ A\to B|S \\ B\to b|ϵ \end{gathered}$$

2. 剔除$ϵ$，首先剔除B中的
   $$\begin{gathered} S_0\to S \\ S\to ASA|aB|a \\ A\to B|S|ϵ \\ B\to b \end{gathered}$$
   然后剔除A中的
   $$\begin{gathered} S_0\to S \\ S\to ASA|aB|a|AS|SA|S \\ A\to B|S \\ B\to b \end{gathered}$$

3. 剔除单射，剔除$A\to B$
   $$\begin{gathered} S_0\to S \\ S\to ASA|aB|a|AS|SA|S \\ A\to S|b \\ B\to b \end{gathered}$$
   $S\to S,S_0\to S,A\to S$
   $$\begin{gathered} S_0\to ASA|aB|a|AS|SA \\ S\to ASA|aB|a|AS|SA \\ A\to b|ASA|aB|a|AS|SA \\ B\to b \end{gathered}$$

4. 整理终结符，注意不要引入新的单射
   $$\begin{gathered} S_0\to ASA|UB|a|AS|SA \\ S\to ASA|UB|a|AS|SA \\ A\to b|ASA|UB|a|AS|SA \\ B\to b \\ U\to a \end{gathered}$$

5. 整理大于2的字串
   $$\begin{gathered} S_0\to A_{1}A|UB|a|AS|SA \\ S\to A_{1}A|UB|a|AS|SA \\ A\to b|A_{1}A|UB|a|AS|SA \\ B\to b \\ U\to a \\ {A}_1=AS \end{gathered}$$

下推自动机

相较于有穷自动机，下推自动机拥有一个能够存储的栈，因而拥有更强的表现能力。例如，DFA无法识别$\{0^n{1}^n|n\ge 0\}$，但下推自动机能够通过栈记忆0的个数，从而接受该语言。

可以根据哪边更好构造，选择使用CFG还是PDA构造CFL。

形式化定义

下推自动机（pushdown automata, PDA）可以被表示为6元组$(Q,\Sigma ,\Gamma ,\delta ,q_0,F)$：

• $Q$为状态集
• $\Sigma$为输入字母表
• $\Gamma$为栈字母表（stack alphabet）
• $\delta$为转移函数
• $q_0\in Q$为初始状态
• $F\subseteq Q$为接受状态集

注意下PDA状态转移的写法：$(q_{i+1},b)=\delta (q_i,w_{i+1},a)$，其中，$w_{i+1}$为输入字符，$a\to b$为栈顶元素变化，$q_i\to q_{i+1}$为状态迁移。在更广义的定义中，$w_{i+1}$可以是任意长度的未读字符串，用$u$表示，例如$(q_1,1111,\text{\$})$。

相比DFA/NFA的状态转移：$q_{i+1}=\delta (q_i,w_{i+1})$，PDA的状态转移多了栈元素的变化。

设栈顶元素为$a$，如果需要弹栈，记$a\to \epsilon$；如果不需要改变栈，则记$a\to a$。

PDA的形式化定义没有包含如何判断空栈的说明，一般是在最开始压栈一个特殊字符，例如$\text{\$}$。

可以使用状态图或转移表（矩阵）来描述一个PDA，例如描述上述的$\{0^n{1}^n|n\ge 0\}$的状态图。

形式$w,a\to b$用于在状态图中表示读入$w$，将栈顶元素从$a$替换为$b$。

转移矩阵

因为PDA画状态图也不是很复杂，有的时候反而更直观。

等价性证明

没要求，但是很有意思，有兴趣可以看看。

证明等价仍然遵循两边证的思路。

CFG可以被转化为一台PDA

设待转化的CFG 为$G$，转化的PDA为$P$，首先给出$P$的非形式化定义：

1. 将空栈标记$\text{\$}$和起始变元$S$压栈。
2. 重复以下步骤
   • 若栈顶为变元$A$，则非确定地选择$A$的一个替换规则，将$A$替换为右侧的字符串并压栈。
   • 若栈顶为终结符$a$，则读入一个输入字符$s$，判断$a$与$c$是否匹配。若匹配，则继续重复下去；否则拒绝该分支
   • 若栈顶为$\text{\$}$，进入接受状态，若此时输入已经读完，则接受。

形式化证明：

首先给定一种简化的表示方法，使得PDA可以在弹栈之后，将整个字符串压栈；设状态为$q,r$，$a\in {\Sigma }_{\epsilon }$，$s\in {\Gamma }_{\epsilon }$，待压栈的规则右侧字符串为$u=u_1{u}_2\dots$，定义这种转移关系为：
$$(r,u)\in \delta (q,a,s)$$
上式意为，处于状态$q$的PDA $P$读入输入字符$a$，弹出栈顶的$s$，迁移到状态$r$，并将字符串$u$压栈。如果按状态图表示，则状态$p,r$之间的箭头应标注$a,s\to u$。

这种简化的表示方法，可以被展开为从状态$q$到$r$经过多个子状态的迁移，如下图所示，$s\to xyz$被表示为$s\to z,\epsilon \to y,\epsilon \to x$.

利用这种简化的表示方法，可以使用三个状态$\{q_{start},q_{loop},q_{accept}\}$，来表示上文中非形式化的PDA：

压栈$\text{\$}$和初始变元$S$，有迁移$(q_{loop},S\text{\$})\in \delta (q_{loop},\epsilon ,\epsilon )$

• 对栈顶为变元$A$，有迁移$(q_{loop},w)\in \delta (q_{loop},\epsilon ,A)$，状态图中记$\epsilon ,A\to w$
• 对栈顶为终结符$a$，有迁移$(q_{loop},\epsilon )\in \delta (q_{loop},a,a)$，状态图中记$a,a\to \epsilon$
• 对栈顶为$\text{\$}$，有迁移$(q_{accept},\epsilon )\in \delta (q_{loop},\epsilon ,\text{\$})$，状态图中记$\epsilon ,\text{\$}\to ϵ$

整理为状态图：

一台PDA可以被转化为CFG

待证为：对PDA $P$，存在CFG $G$中的变元序列$A_{q_0{q}_{accept}}$，能够将状态机从$q_0$迁移到接受状态$q_{accept}$，且前后都保证栈空。

保证栈空是因为PDA接受必须是栈空的。

证明：

首先证明，上述变元序列，能够被切分为变元序列$A_{pq}$，该序列能够将状态机从状态$p$迁移到状态$q$，且只有首尾状态栈空。

• 若变元序列$A_{pq}$，只在开始和结束的时候，出现栈空的情况，则记为规则$A_{pq}\to a{A}_{rs}b$。其中，$A_{rs}$是所有栈不为空的变元序列。
• 若变元序列$A_{pq}$，不满足上一条情况，在序列中间存在栈空状态$r$，则可从$r$进行划分，记为$A_{pq}\to A_{pr}{A}_{rq}$，按此进行划分，指导满足上一条的情况。

由此可将状态机序列划分为一个个由空栈状态分割的序列。

接下来通过两个断言说明变元序列与状态集迁移的等价性，从而得证PDA可以转化为CFG。

断言1：若变元序列$A_{pq}\to x$，则派生$x$能够将PDA $P$，从状态$p$迁移到状态$q$。

（归纳法）

• 若一步派生，则显然$A_{pp}\to \epsilon$，成立；
• 若多步派生，设对小于$k$步的派生成立，且$A_{pq}\to x$需要$k+1$步派生，且：
  • 若$A_{pq}\to a{A}_{rs}b$，对应序列$x=ayb$，因为$y$需要$k$步，所以$x$能够将状态迁移，成立；
  • 若$A_{pq}\to A_{pr}{A}_{rq}$，对应序列$x=y,z$，因为$y,z$都小于$k$步，成立。

综上，得证$A_{pq}\to x$，$x$能够将$P$从$p$迁移到$q$。

断言2：若派生$x$能够将PDA $P$，从状态$p$迁移到状态$q$，则变元序列$A_{pq}\to x$。

（归纳法）

• 若开始和结束都在同一状态$p$，则PDA $P$只能读入$\epsilon$，$x=\epsilon$，而$G$存在规则$A_{pp}\to \epsilon$，成立

• 若开始和结束的状态不同，设断言对长度不超过$k\ge 0$的计算成立，证明对$k+1$成立：

  1. 只在开始和结束的时候栈空。设状态集$\{p,r,s,q\}$，$r,s$对应串$u$，两端输入为$a,b$，则有
     $$\begin{gathered} (r,u)\in \delta (p,a,\epsilon ) \\ (q,\epsilon )\in \delta (s,b,u) \end{gathered}$$
     其中，$r,s$的长度为$k-1$，从而得到文法规则$A_{pq}\to a{A}_{rs}b$.

  2. 中间有栈空。设状态集$\{p,r,q\}$，$p,r$对应串$y$，$r,q$对应串$z$，都不超过$k$步，得到$A_{pq}\to A_{pr}{A}_{rq}$，成立

综上，得证。

整理：

设PDA $P=\{Q,\Sigma ,\Gamma ,\delta ,q_0,\{q_{accept}\}\}$，构造上下文无关文法$G=\{V,\Sigma ,R,S$。

• $V=\{A_{p,q}|p,q\in Q\}$

• $\Sigma =\Sigma$

• $S=A_{q_0{q}_{accept}}\}$

• $R$：
  $$\begin{array}{l}\forall p\in Q,A_{pp}\to \epsilon \\ \forall p,q,r\in Q,A_{pq}\to A_{pr}{A}_{rq}\\ \forall p,r,s,q\in Q,A_{pq}\to a{A}_{rs}b\\ \{\begin{array}{l}(r,u)\in \delta (p,a,\epsilon )\\ (q,\epsilon )\in \delta (s,b,u)\end{array}\end{array}$$

例题：将下述CFG转化为PDA
$$\begin{gathered} S\to aTb|b \\ T\to Ta|\epsilon \end{gathered}$$
思路：

1. 画出$q_{start},q_{loop},q_{accept}$
2. 写压栈条件
3. 写loop条件，可先写为字符串简式，然后展开
4. 写accept条件

泵引理

上下文无关文法的泵引理，需要通过树的思想来理解。

引理：若$A$为CFL，则存在数$p$，为泵长度，使得$A$中任意长度不小于$p$的字符串$s$，都可以被划分为5段$s=uvxyz$，且满足：

1. $\forall i\ge 0,u{v}^{i}x{y}^{i}z\in A$
2. $|vy|>0$
3. $|vxy|\le p$

引理证明

设CFG $G$为识别CFL $A$的文法，$b$为$\to$右侧符号数的最大值，意味着对语法树中任意一个结点，该节点最多有$b$个子。

根据树模型的性质，可知从起始变元$s.v.$出发，走1步最多可以有$b$个叶子（字符），走2步最多可以有$b^2$个字符……走$h$步最多可以有$b^h$个字符。

因此，对树高不超过$h$的树，字符串的长度不会超过$b^h$；‘反之，如果字符串的长度不小于$b^h+1$，则树高至少为$h+1$。

设$G$中变元的数量为$|V|$，令泵长度为$p=b^{|V|+1}$，此时任意长度不小于$p$的字串，其树高一定不小于$|V|+1$，因为$b^{|V|+1}\ge b^{|V|}+1$。

这里之所以设$p=b^{|V|+1}$，是为了满足鸽巢定理的使用条件，构造比变元数$|V|$至少多一个的变元序列，进而推出至少存在一个重复变元。

在正则语言的证明中，$p=状态数$，此时对任何不长度$n\ge p$的字符串，都有不小于$n+1$个状态序列，从而满足了鸽巢定理的使用条件。

假设使用节点数最少的语法树，由于树的高度不小于$|V|+1$，则从语法树的根节点出发，最长路径的节点数应该为$|V|+2$；因为叶子是终结符，所以这条路径上包含不少于$|V|+1$个变元，根据鸽巢定理，在这条最长路径上，至少存在一个重复的变元。为方便表示，选择位于最下面的$|V|+1$个变元中重复的变元，记为$R$，则可以切分语法树，并将s划分为如下5段。

与正则语言一样，这个重复的变元，应当具有$\forall i\ge 0,u{v}^{i}x{y}^{i}z\in A$的可重复性。

使用泵引理证明非上下文无关

泵引理的条件3是非常好用的约束条件，可以利用这一条件，构造长度为$p$的滑窗，然后分段讨论。

例1：证明$\{a^n{b}^n{c}^n|n\ge 0\}$非上下文无关。

证明：设$s=a^p{b}^p{c}^p$，$vxy$为长度$p$的滑窗，考虑不同的滑动情况，如下图所示

可以观察到，$v,y$中的字符存在两种情况：1. 包含两种不同的字符；2. 包含一种字符

1. 存在两种字符时，设$i=2$，会出现逆序
2. 存在一种字符时，设$i=0$，会导致$a,b,c$个数不等

综上两种情况，可知$\{a^n{b}^n{c}^n|n\ge 0\}$不是上下文无关语言

上下文无关语言封闭性

上下文无关的封闭证明，主要关注如何构造新的初始变元。

不封闭的证明，则要记住反例。

并

上下文无关语言对并运算封闭，通过构造法证明。

设文法$G_1:\{V_1,{\Sigma }_1,S_1,R_1\}$，$G_2:\{V_2,{\Sigma }_2,S_2,R_2\}$，为便于证明，且设$V_1\cap V_2=\varnothing$

设$G=G_1\cup G_2$，构造$G$：
$$\begin{gathered} V=V_1\cup V_2\cup S_0 \\ \Sigma ={\Sigma }_1\cup {\Sigma }_2 \\ {S}_0 \\ R=R_1\cup R_2\cup \{S_0\to S_1|S_2\} \end{gathered}$$

理解这段证明的关键在于$S_0\to S_1|S_2$，即增加一个新的起始，该起始可以变换为$S_1$或者$S_2$。

连接

上下文无关语言对连接运算封闭，使用构造法证明。

设文法$G_1:\{V_1,{\Sigma }_1,S_1,R_1\}$，$G_2:\{V_2,{\Sigma }_2,S_2,R_2\}$，为便于证明，且设$V_1\cap V_2=\varnothing$

设$G=G_1\cup G_2$，构造$G$：
$$\begin{gathered} V=V_1\cup V_2\cup S_0 \\ \Sigma ={\Sigma }_1\cup {\Sigma }_2 \\ {S}_0 \\ R=R_1\cup R_2\cup \{S_0\to S_1{S}_2\} \end{gathered}$$

星

上下文无关语言对星运算封闭，构造方法和连接类似。

设文法$G_1:\{V_1,{\Sigma }_1,S_1,R_1\}$，设$G=G_1^{\ast }$，构造$G$：
$$\begin{gathered} V=V_1\cup V_2\cup S_0 \\ \Sigma ={\Sigma }_1\cup {\Sigma }_2 \\ {S}_0 \\ R=R_1\cup R_2\cup \{S_0\to S_1|S_0{S}_0\} \end{gathered}$$

交

上下文无关语言对交运算不封闭，可以使用反证法证明。

已知上下文无关语言对连接运算封闭，故可构造$\{a^n{b}^n{c}^m|n,m\ge 0\},\{a^m{b}^n{c}^n|n,m\ge 0\}$
$$\begin{gathered} \because \{a^n{b}^n\}有上下文无关文法 \\ A\to aAb|\epsilon \\ \{c^m\}有上下文无关文法 \\ S\to cS|\epsilon \\ \therefore \{a^n{b}^n{c}^m\}=\{a^n{b}^n\}\circ \{c^m\}，为上下文无关语言 \\ 同理可证\{a^m{b}^n{c}^n\}为上下文无关语言 \end{gathered}$$
但这两种语言的交集，$\{a^n{b}^n{c}^n|n\ge 0\}$不是上下文无关语言，上文已用泵引理证明。

补

已知上下文无关语言对交运算不封闭，而$L_1\cap L_2=\overline{\overline{L_1}\cup \overline{L_2}}$，因为并运算是封闭的，可知补运算不封闭。

正则与上下文无关语言的交封闭性

设$L$为上下文无关语言，$R$为正则语言，则$L\cap R$为上下文无关语言。

证明的思路和前面证明正则并封闭性的一种方法类似，即构造二元的状态对作为新的PDA的状态。

我们可以简单地将DFA理解为不需要处理栈的PDA，对应状态转移$(q_{i+1},a)=\delta (q_i,w_{i+1},a)$

证明：设DFA $D=\{Q_1,\Sigma ,{\delta }_1,p_1,F_1\}$识别$R$，PDA $P=\{Q_2,\Sigma ,\Gamma ,{\delta }_2,q_2,F_2\}$识别$L$，构造PDA
$$P^{\prime }=\{Q_1\times Q_2,\Sigma ,\Gamma ,\delta ,[q_1,q_2],F_1\times F_2\}$$
其中，$\delta$为
$$\begin{gathered} \delta ([p_i,q_i],w_{i+1},a)=([p_{i+1},q_{i+1}],b); \\ 要求{\delta }_1(p_i,w_{i+1})=p_{i+1},{\delta }_2(q_i,w_{i+1},a)=(q_{i+1},b) \\ {w}_{i+1}\in \Sigma ,a,b\in \Gamma \end{gathered}$$

参考

• 《计算理论导引》第二版，机械工业出版社