计算理论基础

原文链接： http://www.cnblogs.com/liuyunfeng/p/8086487.html

内容

• 形式语言与自动机：正则语言、上下文无关语言、图灵机
• 可计算性：可判定、可归约
• 计算复杂性：时间、空间、难解性

正则语言

确定有穷自动机DFA：$M=,\delta:Q\times\Sigma\rightarrow Q$

• M 接受字符串：$w=w_1...w_n,\exists q_0...q_n,\delta(q_i,w_{i+1})=q_{i+1},q_n\subset F$
• 正则语言：A={w|w被一个 DFA接受}
• 正则表达式：$a\in E, R_1R_2\in E, (R_1|R_2)\in E, R_1^*\in E\,if\,R_1\in E,R_2\in E$

非确定有穷自动机NFA：$M=,\delta:Q\times\Sigma\rightarrow P(Q)$

• 任意 NFA，存在一个等价DFA
• 正则语言$\Leftrightarrow$正则表达式
  • 每个正则表达式存在一个 NFA 识别，或者一个 DFA识别，即正则语言
  • 每个正则语言可用正则表达式定义
    • $DFA\Rightarrow GNFA\Rightarrow$正则表达式
• 利用泵引理，证明一个语言不是正则的$\{1^n0^n\}$
  • 设 A 是一个正则语言，则存在一个数 p（泵长度），使得A中长度不小于 p 的字符串 s=xyz，$\forall i\geqslant 0,xy^iz\in A,|y|>0,|xy|\leqslant p$

上下文无关语言

• 上下文无关文法CFG：$,R:V\rightarrow (V\bigcup\Sigma)^*$
• 下推自动机PDA：$M=,\delta:Q\times\Sigma\times\Gamma\rightarrow P(Q,\Gamma)$
• 上下文无关语言$\Leftrightarrow$被下推自动机识别
• 判定上下文无关语言的泵引理，反例$\{2^n1^n0^n\}$
  • 设 A 是一个上下文无关语言，则存在一个数 p（泵长度），使得A中长度不小于 p 的字符串 s=uvxyz，$\forall i\geqslant 0,uv^ixy^iz\in A,|vy|>0,|vxy|\leqslant p$

图灵机

• 图灵机：$M=,\delta:Q\times\Gamma\rightarrow Q\times\Gamma\times\{L,R\},\Sigma\subset\Gamma$
• 每个非确定的图灵机都有一个等价的确定图灵机
• Church-Turing假设：算法的直觉概念$\Leftrightarrow$图灵机算法
• 线性界限图灵机：LBA 纸带长度等于输入个数

可判定

• 可判定：存在一个图灵机，对一个语言的任何输入都能停机（接受或者拒绝），该语言是图灵可判定$\Leftrightarrow$图灵可识别 and 补图灵可识别。
• 可判定语言：$A_{DFA}, A_{NFA}, A_{REX}, EMPTY_{DFA}, EQUAL_{DFA}, A_{CFG}, EMPTY_{CFG}, A_{LBA}$
• 停机问题：$ATM=\{|M\,is\,a\,TM，accept\,w\} $可识别，不可判定
  • 对角线方法：假设一个可数序列，其始终与第n行、第n列上的不一致。
• 存在图灵不可识别语言：图灵机集合是可数的，语言集合是不可数，因此语言与图灵机不可能一一对应。
• 不可判定：$EMPTY_{TM},  HALT_{TM}, EQUAL_{TM}, EMPTY_{LBA}  采用归约函数证明

可归约

• 函数$r:\Sigma^*\rightarrow\Sigma^*$可计算，如果有图灵机M，在每个输入 w 上，M 停机，此时只有 r(w)出现在纸带上
• 函数$T:N\rightarrow N$，如果M在任意输入x上计算最多只需要$T(|x|)$个步骤，则称M在$T(n)$时间内计算 r。
• 语言 A 映射可归约到语言 B 如果存在可计算函数 f， $,\forall w,w\in A\Leftrightarrow f(w)\in B$，记为$A\leqslant_m B$
  • 此时，如果B可判定，则A也可判定；如果B图灵可识别，则A也图灵可识别。

 时间

• 复杂度：函数$f,g:N\rightarrow N,f(n)=O(g(n)),if\,f(n)\leqslant C*g(n);f(n)=o(g(n)),if\,f(n)
• 时间复杂类：$DTIME(t(n))=\{L|L $是确定型图灵机$O(t(n))$时间判定的语言$\},NTIME(t(n))=\{L|L $是非确定型图灵机$O(t(n))$时间判定的语言$\},where\,t:N\rightarrow N$
• P类：$\bigcup_kTIME(n^k)$
• NP类：$\bigcup_kNTIME(n^k)$，或者可用确定型图灵机在多项式时间内验证。
• EXP类：$\bigcup_kTIME(2^{n^k})$
• 归约：语言 A 可多项式时间归约到B，记为$A\leqslant_p B$，如果存在多项式时间可计算函数$f:\Sigma^*\rightarrow \Sigma^*,\forall w,w\in A\Leftrightarrow f(w)\in B$。
• NP完全类：$B\in NP \wedge \forall A\in NP, A\leqslant_p B$。SAT是NP完全的。

空间

• 空间复杂度：函数$T:N\rightarrow N$，如果 M 在任意输入x上计算最多只需要$T(|x|)$个方格，则称M在空间$T(n)$内计算。
• $SPACE(f(n))$：可用确定型图灵机在f(n)空间内判定。$PSPACE=\bigcup_kSPACE(n^k)$
• $NSPACE(f(n))$：可用确定型图灵机在f(n)空间内验证。$NSPACE=\bigcup_kNSPACE(n^k)$
• 萨维奇定理：任何函数$f:N\rightarrow N，f(n)\leqslant n, NSPACE(f(n))\subseteq SPACE(f^2(n))$
• $P\subseteq NP\subseteq PSPACE=NPSPACE\subseteq EXPTIME$
• PSPACE完全类：$B\in PSPACE \wedge \forall A\in PSPACE, A\leqslant_p B$。
• TQBF 问题：TQBF={$<\phi>|\phi$是真的全量词化布尔表达式} PSPACE 完全。
• $L=SPACE(\log n),NL=NSPACE(\log n),coNL=NL\subseteq P$
• NL完全性：$B\in NL \wedge \forall A\in NL, A\leqslant_LB$

难解性

近似算法 概率算法 交互式证明系统 并行计算 密码学

参考文献

• Michael Sipser，Introduction to the Theory of Computation，Course Technology, 2005
• Sanjeev Arora, Boaz Barak, Computational Complexity, an modern approach, Cambridge University Press, 2015.11

转载于:https://www.cnblogs.com/liuyunfeng/p/8086487.html