设计有穷自动机DFA实现C++简单程序的词法分析、扫描（编译原理实验）

前面两篇（一、二）只是直观地针对已明确给出的教学语言 Tiny 源程序进行直接的词法分析（其实根本就称不上），不具有一般性（下面这个针对C++源程序的词法分析也相当单一，考虑面不足）。下面是我们的课程实验，需要结合课堂上学到的利用有限自动机DFA的方法来设计并分析源程序，提取出符合要求的Token。

根据老师给出的课件以及教材上的内容，扫描程序（词法分析）有下面3种实现方式，前面两篇（一、二）就是属于“直接编写”这一类，而本文则是“DFA”这一类。

  

1、按实验要求（如下），目前只拙劣地实现了第（1）和（5）点。

而且第（1）点中有两个要求未能完成：

★ 浮点数，因为包含单行、多行注释的DFA已经很混乱了，这部分暂时先不实现，考虑将来用“表驱动法”（即状态转换表）来实现。

★ 注释，与教材类似不打印单行和多行注释，因此代码实现中少了处理注释的内容。

实验中用到的C++源程序与要求如下图：

 

2、对实验要求中的“样例程序”稍微修改了一下。

★ 头文件 #include 被改为 #include "iostream.h"，即 iostream.h 是由双引号 "" 而不是尖括号 < > 包围的，实际上回到了 C 的代码规范。这样修改是因为原本确定 DFA 时考虑不全面，忽略了“小于等于 <=，大于等于 >=，判断 ==，不等于 != ”这几种特殊情况，因为他们会跟 < > = ! 这几个特殊字符造成二义性。

★ 同时，C++ 中的 IO 有“ >> 与 << ”也可能与上述特殊字符造成歧义，这个使得实现代码中的 unGetNextChar(int step) 与教材中的有所不同，因为该函数带了一个“步长参数 step”，其实也是为了迁就 #include<iostream.h> 中的 > 与代码中的 >> 和 >= 。

其实，"iostream.h"也被作为字符串识别了，目前尚改进不了。

★ 另外为了测试算术运算符，对实验要求中的样例程序进行了修改，程序按照该样例作为输入，如下图加上了一个“i = i + 2;”语句：

 

3、程序中的打印输出模仿了教材中的样例输出。

★ 对于以上样例输入，最终程序输出结果如下：

  

4、针对该C++源程序设计的DFA 图大致如下：

  

5、实现代码（Java）

近来喜欢上了Vim的代码高亮，看着清晰明朗，下面是整个实现代码在Vim下的截图，文本代码在本文最后：