C语言词法分析程序的设计与实现
C语言词法分析程序 c++和lex两种实现 支持多种数字格式和转义字符
实现的功能
- 基本满足C语言的词法规则。
- 可以识别八进制，十六进制，浮点，科学计数法，同时支持后缀。
- 识别关键字。
- 识别字符和字符串中的转义。
C++实现程序设计说明
自动机实现
一般自动机实现采用如下代码结构：
int state = 0;
switch(state){
case 0:
dosomeThing();
state = NextState;
break;
case 1:
...
}这样的结构确实很规范，但是我觉得用起来有一点问题。
state = 2这代表着跳转到状态2，这样的可读性不强，因为很难记住状态2是什么状态。可以把state变量改为enum来增强可读性。- 实现状态机每个状态的跳转一般用switch语句，如果有涉及到判断是
<还是<=就需要提前读取一个字符增加状态机，就会有三重switch嵌套，影响可读性。
所以我采用了一般不推荐的goto语句。只要保证实现的状态机没有逻辑错误，使用goto不会造成复杂的结构。
stateName1:
dosomething;
...
goto stateName1;
...
goto stateName2;
stateName2:
...自动机举例
识别注释
/
*
/
=
其它
其它
*
其它
/
其它
'\n'
开始
/=
/
块注释
行注释
识别标识符
_\a-z\A-Z
_\a-z\A-Z\0-9
其它
开始
标识符
识别数字
l/L
l/L
u/U
u/U
其它
其它
其它
u/U
其它
其它
整数后缀
数字
实际使用msvc编译器发现，L和U的顺序其实没有限制，LuL也是合法的数字后缀。如果用自动机实现所有的情况，需要上面的自动机三个。所以实际实现并没有采用自动机，采用的是检测L和U出现的次数。
1-9
1-9
'\.'
E/e
十进制
整数后缀
浮点数
科学计数法
0
X/x
0-9a-fA-F
0-7
0-7
8/9
8/9
l/L/u/U
l/L/u/U
'\.'
'\.'
e/E
e/E
e/E
0-9
'-/+'/0-9
0-9
f/F/l/L
f/F/l/L
f/F/l/L
'\.'
开始
十六进制
八进制
temp
处理整数后缀
浮点数
科学计数法
处理浮点后缀
'\.'代表小数点，因为我不会再图里打小数点的转义
三个图是连起来的，名字相同的是同一个状态。处理后缀是专门的统计后缀每个字符出现的次数的处理程序，没有用自动机。
识别字符
'
除了',\,'\n'
'
\
转义字符
0-7
X/x
'
0-7
0-7
0-7
0-9a-fA-F
0-9a-fA-F
字符
转义有\n,\t,还有\0,\000三位八进制和\xhh两位十六进制
处理运算符
运算符的处理就比较简单了，只需要看后面能否组成符合运算符或者变成其它运算符。比如<开头的运算符有<<,<<=,<=和<这几种运算符，自动机如下
<
其它
=
<
其它
=
开始
<
<=
<<
<<=
需要注意的是/，它既是注释的开头字符，也是/,/=的开头。
关键字
采用stl的unordermap来保存关键字，识别到标识符之后，判断该标识符是否在map中，如果在，则是关键字。
错误的处理
遇到不符合自动机规则的字符之后，输出一个错误信息，先跳过该字符串或者数字,就是一直跳过字符，知道遇到空白符，运算符。
lex实现
lex实现主要是把每一类单词转变成一个正则表达式，代码如下：
digit [0-9]
digit8 [0-7]
digit16 [0-9a-fA-F]
postfix ((u|U)?(l|L)?(l|L)?)|((l|L)?(u|U)?(l|L)?)|((l|L)?(l|L)?(u|U)?)
postfixf (l|L)|(f|F)
letter [A-Za-z_]
note "//"[^\n]*
notes "/*"([^\*]|(\*)*[^\*/])*"*/"
id {letter}({letter}|{digit})*
char (\\[abfnrlvt\'\"\?\\])|(\\[0-7][0-7])|("\\x"{digit16}{digit16})
achar \'([^\n\'\\]|{char})\'
string \"([^\n\\\"]|{char})*\"
number [1-9]{digit}*{postfix}?
number8 0{digit8}*{postfix}?
number16 ("0x"|"0X"){digit16}+{postfix}?
numberSCM {digit}*\.?{digit}+(\e|\E)(\+|\-)?{digit}*{postfixf}?
numberF {digit}*\.{digit}+{postfixf}?
operator [\?\~\,\(\)\{\}\[\]\;\:\.]
注意：我使用的是在linux上翻译lex文件，然后在windows上开发。用--nounistd选项可以不使用linux系统头文件.使用-+选项生成c++文件。
c++代码
#include lex辅助代码
digit [0-9]
digit8 [0-7]
digit16 [0-9a-fA-F]
postfix ((u|U)?(l|L)?(l|L)?)|((l|L)?(u|U)?(l|L)?)|((l|L)?(l|L)?(u|U)?)
postfixf (l|L)|(f|F)
letter [A-Za-z_]
note "//"[^\n]*
notes "/*"([^\*]|(\*)*[^\*/])*"*/"
id {letter}({letter}|{digit})*
char (\\[abfnrlvt\'\"\?\\])|(\\[0-7]([0-7][0-7])?)|("\\x"{digit16}{digit16})
achar \'([^\n\'\\]|{char})\'
string \"([^\n\\\"]|{char})*\"
number [1-9]{digit}*{postfix}?
number8 0{digit8}*{postfix}?
number16 ("0x"|"0X"){digit16}+{postfix}?
numberSCM {digit}*\.?{digit}+(\e|\E)(\+|\-)?{digit}*{postfixf}?
numberF {digit}*\.{digit}+{postfixf}?
operator [\?\~\,\(\)\{\}\[\]\;\:\.]
%%
"*=" {return 12;}
"*" {return 13;}
== {return 14;}
= {return 15;}
!= {return 16;}
! {return 17;}
"^=" {return 18;}
"^" {return 19;}
## {return 20;}
# {return 21;}
"++" {return 22;}
"+=" {return 23;}
"+" {return 24;}
"--" {return 25;}
"-=" {return 26;}
"->" {return 27;}
"-" {return 28;}
"||" {return 29;}
"|=" {return 30;}
"|" {return 31;}
&& {return 32;}
&= {return 33;}
& {return 34;}
"<<=" {return 35;}
"<<" {return 36;}
"<=" {return 37;}
"<" {return 38;}
">>=" {return 39;}
">>" {return 40;}
">=" {return 41;}
">" {return 42;}
{note} {return 0;}
{notes} {return 1;}
{id} {return 2;}
{achar} {return 4;}
{string} {return 5;}
{number} {return 6;}
{number8} {return 7;}
{number16} {return 8;}
{numberSCM} {return 9;}
{numberF} {return 10;}
{operator} {return 11;}
"\n" {return 43;}
[ \t\v\f]* {return 44;}
. {return 45;}
%%
int yyFlexLexer::yywrap()
{
return 1;
}
#include