c语言实现词法分析器

词法分析器的功能:输入源程序,输出单词字符。单词字符一般可以分为下面五种。
(1)关键字 是由程序语言定义的具有固定意义的标识符。有时称这些标识符为保留字或者基本字。例如c语言中的int,char,define,strcut,double,if,else.等等
(2)标识符 用来表示各种名字,如变量名,数组名,过程名。
(3)常数 常数的类型一般有整形,实型,布尔型等
(4)运算符 如+,-,*,/。
(5)界符 如逗号,分号,括号,%,//,等。
词法分析器的目标就是把程序分成一个一个单词。并给出单词符号的种类,以及种类值。
代码实现:
代码是贴的别人的,我在上面改善了一些实现的功能。自己发了三四个小时看明白了。自己完完全全写的确好多东西要学一下。比如一些文件的操作还不是特别的熟悉。等等呀!代码中还用到了结构体,我之前也做过一篇文章分析了,这里用结构体来实现关键字表,应该不是很难的。
普通标识符的种类编码1
无符号整数的种类编码2
“int”,的种类编码3
“char”,的种类编码4
“float”,的种类编码5
“main”,的种类编码6
“double”,的种类编码7
“case”, 的种类编码8
“for”,的种类编码9
“if”,的种类编码10
“auto”,的种类编码11
“else”,的种类编码12
“do”,的种类编码13
“while”,的种类编码14
“void”,的种类编码15
“static”, 的种类编码16
“return”,的种类编码17
“break”,的种类编码18
“struct”,的种类编码19
“const”,的种类编码20
“union”,的种类编码21
“switch”,的种类编码22
“typedef”,的种类编码23
"enum"的种类编码24
( 的种类编码25
)的种类编码26
[ 的种类编码27
] 的种类编码28
; 的种类编码29
. 的种类编码30
, 的种类编码31
: 的种类编码32
{的种类编码33
} 的种类编码34
% 的种类编码35
" 的种类编码36
\ 的种类编码37
# 的种类编码38
/ 的种类编码39
++的种类编码41
+=的种类编码42
+的种类编码43
–的种类编码44
-=的种类编码45
-的种类编码46
*的种类编码47
=的种类编码48
>= 的种类编码49
> 的种类编码50

那个模块不是很清楚的话可以评论哈!!!

/*附录源程序清单:*/

#include
#include
#define   MAX 22             /*分析}表的最大容量*/
#define   RES_MAX   10        /*关键字的最大长度*/
#define   MAXBUF 255         /*缓冲区的大小*/

char   ch =' ';             /*存放读入当前的输入字符*/
int Line_NO;                /*纪录行号*/

struct keywords    /*关键字*/
{
char lexptr[MAXBUF];
int token;
};
struct keywords symtable[MAX];
char str[MAX][10]={"int","char","float","main","double","case", "for","if","auto","else","do","while","void","static", "return","break","struct","const","union","switch","typedef","enum"};

/*对关键字表进行初始化,div,mod,and,or也作为关键字处理*/
/*最小的token是program:3,最大的token是or:24*/
void init() 
{           
	int j;
	for(j=0; j<MAX; j++)
	{
	   strcpy(symtable[j].lexptr,str[j]);
	   symtable[j].token=j+3;   
	}
}

/***************对关键字进行搜索**************/
int Iskeyword(char * is_res){
   int i;
   for(i=0;i<MAX;i++){
     if((strcmp(symtable[i].lexptr,is_res))==0) break;
   }
   if(i<MAX) return   symtable[i].token;
   else return 0;
}

/*****************判断是否为字母*****************/
int IsLetter(char c)
{
   if(((c<='z')&&(c>='a'))||((c<='Z')&&(c>='A'))) return 1;
    else return 0;
}

/*************判断是否为数字**************/
int IsDigit(char c){
   if(c>='0'&&c<='9') return 1;
   else return 0;
}

/***************分析程序**************/
void analyse(FILE *fpin,FILE *fpout){
	/* 输入缓冲区,存放一个单词符号 */
    char arr[MAXBUF];	
    int j=0;
    while((ch=fgetc(fpin))!=EOF){
    /*碰到空格、tab则跳过*/
    if(ch==' '||ch=='\t'){}
    else if(ch=='\n'){Line_NO++;}
/*********************字符串的处理*************************/
   else if(IsLetter(ch)){
       while(IsLetter(ch)|IsDigit(ch)|ch=='_'){
		   if((ch<='Z')&&(ch>='A'))     
		   		ch=ch+32;   /*忽略大小写*/
            arr[j]=ch;
            j++;
            ch=fgetc(fpin);
        }
        /*输入指针回退一个字符*/
        fseek(fpin,-1L,SEEK_CUR);
        arr[j]='\0';
        j=0;
       if (Iskeyword(arr)){   /*如果是关键字*/
            fprintf(fpout,"%s\t\t%d\t\t关键字\n",arr,Iskeyword(arr));
        }else   
			fprintf(fpout,"%s\t\t%d\t\t标识符\n",arr,1); /*普通标识符*/
/*************************数字的处理****************************/      
   }else if(IsDigit(ch)){
	int s=0;
      while(IsDigit(ch)|IsLetter(ch)){
		if(IsLetter(ch)){
            arr[j]=ch;
            j++;
            ch=fgetc(fpin);
			s=1;
		}
	 	else if(IsDigit(ch)){
			arr[j]=ch;
            j++;
            ch=fgetc(fpin);
		}		  
    }
        fseek(fpin,-1L,SEEK_CUR);
        arr[j]='\0';
        j=0;
	if(s==0)
		fprintf(fpout,"%s\t\t%d\t\t无符号整数\n",arr,2) ; 
	else if(s==1)
		fprintf(fpout,"%s\t\t%d\t\t错误\n",arr,3) ; 
      }else switch(ch){           
            case'+' :
            	ch=fgetc(fpin);
            	if(ch=='+'){
            		fprintf(fpout,"%s\t\t%d\t\t自加运算符\n","++",41);
            		break;
				}
				else if(ch=='='){
					fprintf(fpout,"%s\t\t%d\t\t运算符\n","+=",42);
            		break;
				}
            	else
            		fseek(fpin,-1L,SEEK_CUR);
					fprintf(fpout,"%s\t\t%d\t\t运算符\n","+",43);
				break;
            case'-' :
            	ch=fgetc(fpin);
            	if(ch=='-'){
            		fprintf(fpout,"%s\t\t%d\t\t自减运算符\n","--",44);
            		break;
				}
				else if(ch=='='){
					fprintf(fpout,"%s\t\t%d\t\t运算符\n","-=",45);
            		break;
				}
            	else
            		fseek(fpin,-1L,SEEK_CUR);
					fprintf(fpout,"%s\t\t%d\t\t运算符\n","-",46);
				break;
            case'*' :fprintf(fpout,"%s\t\t%d\t\t运算符\n","*",47);break;
            case'(' :fprintf(fpout,"%s\t\t%d\t\t分界符\n","(",25);break;
            case')' :fprintf(fpout,"%s\t\t%d\t\t分界符\n",")",26);break;
            case'[' :fprintf(fpout,"%s\t\t%d\t\t分界符\n","[",27);break;
            case']' :fprintf(fpout,"%s\t\t%d\t\t分界符\n","]",28);break;                      
            case';' :fprintf(fpout,"%s\t\t%d\t\t分界符\n",";",29);break;
            case'=' :fprintf(fpout,"%s\t\t%d\t\t运算符\n","=",48);break;
            case'.' :fprintf(fpout,"%s\t\t%d\t\t分界符\n",".",30);break;
            case',' :fprintf(fpout,"%s\t\t%d\t\t分界符\n",",",31);break;
			case':' :fprintf(fpout,"%s\t\t%d\t\t分界符\n",":",32);break; 
			case'{' :fprintf(fpout,"%s\t\t%d\t\t分界符\n","{",33);break;
			case'}' :fprintf(fpout,"%s\t\t%d\t\t分界符\n","}",34);break; 
			case'%' :fprintf(fpout,"%s\t\t%d\t\t分界符\n","%",35);break;
			case'\"' :fprintf(fpout,"%s\t\t%d\t\t分界符\n","\"",36);break;
			case'\\' :fprintf(fpout,"%s\t\t%d\t\t分界符\n","\\",37);break;  
			case'#' :fprintf(fpout,"%s\t\t%d\t\t分界符\n","#",38);break;
            case'>' :{
				ch=fgetc(fpin);
		        if(ch=='=') 
				 	fprintf(fpout,"%s\t\t%d\t\t运算符\n",">=",49);
		        else {
					fprintf(fpout,"%s\t\t%d\t\t运算符\n",">",50);
					fseek(fpin,-1L,SEEK_CUR);
				}
    		}break;

            case'<' :{
				ch=fgetc(fpin);
		        if(ch=='=') 
				 	fprintf(fpout,"%s\t\t%d\t\t运算符\n","<=",51);
		        else if(ch=='>') 
				 	fprintf(fpout,"%s\t\t%d\n","<>",52);
		        else{
				 	fprintf(fpout,"%s\t\t%d\t\t运算符\n","<",53);
				 	fseek(fpin,-1L,SEEK_CUR);}
            }break;
   /***************出现在/  /之间的全部作为注释部分处理*******************/  
               case'/' :{
			   		ch=fgetc(fpin);
			   		if(ch=='/'){
                      	while(ch!='\n'){
					 		ch=fgetc(fpin);
					  	}
					  }
				    else if(ch=='*'){
                      	while(ch!='/'&&ch!=EOF){
					 		ch=fgetc(fpin);
					  	}
                      	if(ch==EOF) 
					  		fprintf(fpout,"缺少一个'/'");}
				    else {
				   		fprintf(fpout,"%s\t\t%d\t\t运算符\n","/",39);
				   		fseek(fpin,-1L,SEEK_CUR);
						}
				   	break;
                }
   /***************非法字符*******************/                         
               default :fprintf(fpout,"在第%d行无法识别的字符\t%c\n",Line_NO,ch);
        }
    }
}
/**********主程序中完成对输入输出文件的读写***********/
int main(){
   char in_fn[25],out_fn[25];
   FILE * fpin,* fpout;  printf("<<<<<<<<<<<<<<<<<>>>>>>>>>>>>>>>>>>>>>>>>>>\n");
   printf("..............词法分析程序实验......................\n");
   printf("\n");
   printf(".....目前共有词法程序范例:   1个   \n");
   printf(".....程序范例1:data.txt \n");
   printf(".....输入一个已有的程序:\n");
   scanf("%s",in_fn);
   printf(".....输入你想要保存分析的目标文件名:\n");
   scanf("%s",out_fn);
   fpin=fopen(in_fn,"r");
   fpout=fopen(out_fn,"w");
   fprintf(fpout,"单词符\t\t种类编码\t\t种类\n");
   init();
   analyse(fpin,fpout);
   fclose(fpin);
   fclose(fpout);
   printf(".....程序已分析完成分析并保存至目标文件\n");
   printf("........<谢谢使用>......\n");
   return 0;
}

c语言实现词法分析器_第1张图片
c语言实现词法分析器_第2张图片
我用这个代码本身做的测试!汉字不能够分析,还有一些字符也没有加进去
如&,|。等有兴趣的小伙伴可以试试!
给大家看看结果!!!
c语言实现词法分析器_第3张图片
因为加种类编码,所以可能有些混乱!看懂原理就行了!结构不是很复杂,希望对大家有所帮助。

你可能感兴趣的:(c语言,c语言)