编译技术图式（第三章 词法分析）

编译技术图式（第三章 词法分析）

1、词法分析概述

---

2、词法分析器和语法分析器的关系

---

 

（1）词法分析作为单独的一遍

（2）词法分析作为子程序

 

 

3、词法分析器的输出

---

 

 二元式 (单词类别<整数编码>，单词属性)

 

依赖于所对应的程序设计语言

　　关键字“一字一码”

　　标点符号“一字一码”

　　对标识符、常数、字符串等“一类一码”

　　丢弃其它不相关字符 （注释、空白符等）

4、词法分析器的实现

---

1）正则表达式：一种用来描述字符串集合的工具

 

2）字母表：一个有限的符号集合

集合{0, 1}是二进制字母表

 

3）字母表上的一个“串”或“句子” ：字母表中符号的一个有穷序列

串s的长度，记作 |s|，指s中符号出现的次数

空串是长度为0的串，用ε表示

 

4）语言：给定字母表上一个任意的可数的串集合

 

5）正则表达式的递归定义

R*任意多次、R+至少一次

 

6）正则表达式的实现——有限自动机

有限自动机：确定的有限自动机/非确定的有限自动机

• 有限的有向图
• 初态唯一
• 有向边上标记字符，表示状态转换
• 若干终态（至少一个）