编译原理实验1--词法分析器的设计
前 言
编译原理是计算机类专业特别是计算机软件专业的一门重要专业课。设置该 课程的目的在于系统地向学生讲述程序设计语言编译程序构造的一般原理、基本 设计方法、主要实现技术方法，让学生系统、有效地了解编译程序，以及整个编 译程序的构造过程，使学生通过学习既掌握编译理论和方法方面的基本知识，也 具有设计、实现、分析和维护编译程序等方面的初步能力。并能将编译程序中的 概念和技术应用于一般的软件设计之中。 本实验指导书是《编译原理》的配套实验指导书。本课程的总体目标是：通 过实验学习编译程序调试技巧和设计编译程序的一般原则，加深对词法分析、语 法分析、语义分析和中间代码生成等编译阶段及实用编译系统的认识，初步掌握 编译程序构造的基本原理与技术, 从形式语言理论的角度, 进一步认识与理解程 序设计语言。通过编译程序的编写和调试能力的训练，激发学生进一步思考问题， 培养学生的学习兴趣和创新能力。并进一步培养学生的抽象思维能力，进一步巩 固《编译原理》课程所学知识。 书中共设计了4个实验，实验内容和题目的设计将针对我校学生的实际情况， 做到难易适中。本实验力争让学生经过一定的努力，都能够完成相应题目，收获 成功的喜悦，从而激发起他们学习的兴趣和积极性。本指导书给出了相关算法的 流程图和参考程序，实验环境可以是VC 6.0。
实验学时：2
实验类型：设计
实验要求：必做
一、实验目的
通过设计编制调试一个具体的词法分析程序，加深对词法分析原理的理解。并掌握在对程序设计语 言源程序进行扫描过程中将其分解为各类单词的词法分析方法。
二、实验内容
编制一个读单词过程，从输入的源程序中，识别出各个具有独立意义的单词，即基本保留字、标识符、 常数、运算符、分隔符五大类。并依次输出各个单词的内部编码及单词符号自身值。（遇到错误时可显示 “Error”，然后跳过错误部分继续显示）。
三、实验原理或算法
1、词法分析器的功能和输出格式 词法分析器的功能是输入源程序，输出单词符号。词法分析器的单词符号常常表示成以下的二元式(单 词种别码，单词符号的属性值)。本实验中，采用的是一个符号一个种别码的方式。
2、单词的 BNF 表示 -> ->|||ε -> -> |ε -> + -> - -> > -> >=
3、“超前搜索”方法 词法分析时，常常会用到超前搜索方法。如当前待分析字符串为“a>=”或“a>b”,当前字符为’>’， 此时，分析器倒底是将其分析为大于关系运算符还是大于等于关系运算符呢？显然，只有知道下一个字符 是什么才能下结论。于是分析器读入下一个字符’＝’或’b’，这时可知应将’>’解释为大于或大于等于运算符。 但此时，超前读了一个字符’b’，所以要回退一个字符，词法分析器才能正常运行。在分析标识符，无符号 整数等时也有类似情况。
4、单词种别码要求
识别保留字：if、int、for、while、do、return、break、continue、main 等单词种别码为 1。 分隔符包括：,、;、{、}、(、)； 单词种别码为 2。 运算符包括：+、-、*、/、=、；单词种别码为 3。 关系运算符：>、=、<=、!= ；单词种别码为 4。 标识符；单词种别码为 5。 常数为无符号整形数；单词种别码为 6。
5、编程思路
（1）基本思路：这里以开始定义的 C 语言子集的源程序作为词法分析程序的输入数据。在词法分析 中，自文件头开始扫描源程序字符，一旦发现符合“单词”定义的源程序字符串时，将它翻译成固定长度 的单词内部表示，并查填适当的信息表。经过词法分析后，源程序字符串（源程序的外部表示）被翻译成 具有等长信息的单词串（源程序的内部表示），并产生两个表格：常数表和标识符表，它们分别包含了源 程序中的所有常数和所有标识符。
（2）主程序示意图 主程序示意图如图 1 所示。其中初值包括如下两方面：
①关键字表初值 关键字作为特殊标识符处理,把它们预先安排在一张表格中(称为关键字表),当扫描程序识别出标识符 时,查关键字表。如能查到匹配的单词，则该单词为关键字，否则为一般标识符。关键字表为一个字符串数 组，其描述如下： char *KEY_WORDS[8]={“main”,”int”,”char”,”if”,”else”,”for”,”while”}；
为分析方便，这里把 main 作关键字处理。
②程序中需要用到的主要变量：syn（表示种别码）,token（单词值）和 sum（整数值）
(3) 扫描子程序的算法思想 首先设置三个变量：token 用来存放构成单词符号的字符串；sum 用来存放整型单词；syn 用来存放单 词符号的种别编码。扫描子程序主要部分流程如图 2 所示。
四、实验步骤
1. 定义目标语言的可用符号表和构词规则； 2. 依次读入源程序符号，对源程序进行单词切分和识别，直到源程序结束； 3. 对正确的单词，按照它的种别以的形式保存在符号表中； 4. 对不正确的单词，做出错误处理。
五、参考程序清单
#include
#include
#include
#include
#define NULL 0
FILE *fp;
char cbuffer;
char *key[8]={"if","else","for","while","int","return","break","continue"};
char *border[6]={",",";","{","}","(",")"};
char *arithmetic[5]={"+","-","*","/","="};
char *relation[6]={"<","<=","==",">",">=","!="};
char *consts[20];
char *label[20];
int constnum=0,labelnum=0;
int search(char searchchar[],int wordtype)
{
int i=0;
switch (wordtype)
{
case 1:
for (i=0;i<=7;i++)
if (strcmp(key[i],searchchar)==0) return(i+1);
return 0;
case 2:
for (i=0;i<=5;i++)
if (strcmp(border[i],searchchar)==0) return(i+1);
return(0);
case 3:
for (i=0;i<=4;i++)
if (strcmp(arithmetic[i],searchchar)==0) return(i+1);
return(0);
case 4:
for (i=0;i<=5;i++)
if (strcmp(relation[i],searchchar)==0) return(i+1);
return(0);
case 5:
for (i=0;i 六、实验结果分析
如源程序为 C 语言。输入如下一段： main() { int a,b; a = 10; b = a + 20; } 要求输出如下结果：要求输出下面的形式：
（1，”main”）
（5，”（“）
（5，”）“）
（5，”{“）
（1，”int”）
（2，”a”）
（5，”,”）
（2，”b”）
（5，”;”）
（2，”a”）
（4，”=”）
（3，”10”）
（5，”;”）
（2，”b”）
（4，”=”）
（2，”a”）
（4，”+”）
（3，”20”）
（5，”;”）
七、实验报告要求
详细说明你的程序的设计思路和实现过程。用有限自动机或者文法的形式对词法定义做出详细说明， 说明词法分析程序的工作过程，说明错误处理的实现。