计算理论导引

计算理论导引

• 计算机的基本能力和限制是什么？
• 计算理论
  • 自动机
  • 可计算性
  • 复杂性
• 计算复杂性理论
  • 复杂性理论的核心问题：是什么使得某些问题很难计算，又使得另一些问题容易计算？
  • 复杂性理论的一个重要成果：发现一个按照计算难度给问题分类的完美体系。
  • 面对难题：1. 搞清问题困难的根源，改变问题条件变成简单问题，2.近似解，3.问题在最坏情况下困难，随机计算。
  • 密码学需要复杂性
  • 目标是把问题分成容易的和困难的
• 可计算性理论
  • 哥德尔，图灵，丘奇
  • 确定一个数学命题的真假
  • 计算机理论模型
  • 目标是把问题分成可解的和不可解的
• 自动机理论
  • 自动机理论论述计算的数学模型的定义和性质
  • 有穷自动机
  • 上下文无关文法
  • 正则表达式
• 数学基础
  • 集合
  • 函数
  • 谓词（性质）：是值域为真假10的函数
  • 关系：一种谓词，为多元函数（定义域为多元笛卡尔集），如二元关系，大于，小于，等于，等价关系（传递，自反，对称）
  • 图集合G(V,E)：路径，子图，树，最小生成树，无向图，联通，有向图，强连通
  • 字符串：字母表为有穷集（如（0,1），（a-z）26字母），字符串为字母表集族，如0101010，方法：空串，长度，子串，反转，连接，字典序（长短），字符序（a,b,）,
  • 语言:语言是字符串的集合
  • 实数集：字母表：0-9，字符串为自然数集合或者整数，有理数集合，集族在构成实数集
  • 布尔逻辑：与或非，与（合取），或（析取），异或（逻辑加），同或。德摩根定律
  • 定义：定义是数学的灵魂，（欧式几何的定义），定理和证明是数学的精髓，对象+概念=数学命题
  • 定理：是被证明为真的数学命题，（引理[lemma]:辅助定理）
  • 证明;逻辑论证，证明命题为真，
  • 如何证明（如何解题）：归纳（递归），演绎，反证法，启发式，构造性证明（存在性证明）

第一部分：自动机与语言

第二章 正则语言

计算理论的第一个问题是：

• 什么是计算机？

• 采用计算模型作为理论计算机，如图灵机。$\lambda $ 演算，有穷状态机（有穷自动机：存储有限，状态有限），马尔科夫链

• 有穷自动机

  • 形式定义：

  

  

  • 计算的形式定义：

    

​ 正则语言：能被有穷自动机识别的语言，（语言是字符串的集合）

设计有穷自动机：状态信息，数字逻辑电路的设计，策略就是“读者就是自动机”

正则运算：并，连接，*号，

正则语言类在并，连接，运算下封闭

非确定性：

确定性有穷自动机（DFA）

非确定性有穷自动机（NFA），DFA为NFA子集

NFA的形式定义：

NFA的计算：

NFA等价于DFA

• 正则表达式：用正则运算符构造描述语言的表达式，如UNIX 的AWK, GREP,PERL语言等

  形式定义：

  

  正则表达式与有穷自动机等价

• 非正则语言

• 上下文无关语言CFL

  • 上下文无关文法CFG：替换规则（产生式），变元，终结符，派生，语法分析树

    

    形式定义：

    

    编译程序的语法分析

    • 设计上下文无关文法

    • 歧义性

    • 乔姆斯基范式

    • 

• 下推自动机

  • 与上下文无关文法等价，为非确定型有穷自动机加栈组成，可识别某些非正则语言

    

• 非上下文无关语言

第二部分 可计算性理论

第四章 丘奇-图灵论题

• 图灵机

递归可枚举语言：图灵可识别

递归语言：图灵可判定

变化中的不变性：稳健性，鲁棒性，

图灵机的变形

• 非确定性图灵机

• 枚举器

• 算法的定义

  • 希尔伯特第十问题：不定方程的整数根的算法求解

  • 丘奇使用$\lambda $演算的记号系统来定义算法

  • 丘奇-图灵论题：算法的非形式概念和精确概念的联系，

    

    用图灵机定义了算法的概念

    图灵机刻画了所有的算法

第五章 可判定性

• 研究算法求解问题的能力

• 可判定语言

  

• 停机问题

  第六章 可归约性

第七章：可计算性理论的高级专题

• 递归定理

  • 制造能生产自己的机器是可能的
  • 自引用
  • 信息的定义：算法与信息是计算机科学中基本的概念，用可计算性定义信息，极小长度的描述，描述复杂性

• 逻辑理论

• 图灵可归约性

• 描述复杂性

第三部分 复杂性理论

• 如果需要复杂的时间或者空间，即使可判定的理论可解问题也是不可解的

• 研究计算问题所需要的时间，空间或者其他资源的理论

• 度量复杂性

• 大欧记号，算法时间复杂度

• P类问题

  • 多项式时间

    

• NP类

多项式可验证性

coNP

• NP完全性

  

  第九章 空间复杂性

  第十章 难解性

  • 近似算法
  • 概率算法