斯坦福编译原理笔记 07 词法分析1

1. 词法分析

词法分析的目标是对代码进行分割，并转换成词法单元。这是一件很容易的事情，因为不同的词法单元间会有各种各样的视觉线索去划定边界。

词法分析器要进行的工作就是通过标记，在不同词法单元之间放置分割线。另外，它还需要对不同的字符串元素进行分类，我们将其称为标记类（Token Class）。

对英语而言，标记类包括名词、动词、形容词等；对于编程语言而言，标记类包括标识符（Identifiers）、关键字（Keywords）、“(“、”)”、数字等。 标记类对应一组字符串，即这组字符串可被标记类描述。

例如，在大多数编程语言中，标识符的标记类是以字母开头的字母数字串。

关键字通常是一组保留字，例如：else、if、begin等。另外，空格也是一个标记类。