小型桌面计算器的实现(javacc)

从开始学计算理论，就对形式语言，编译原理很感兴趣，所以大学对这门课学的也算是最好了。自己也实现过一些简单的词法分析器之类的东西，不过也都是学习目的的，质量一般 后来一直在Linux学习，对lex/yacc研究过一点时间，设计过一个小的脚本引擎，可以做一些比较复杂的数学运算，这个可以参考我的这篇博客。工作以后，平台 变成了java，跟C渐渐的离得远了，也喜欢上java这个提供语言级别的面向对象的语言以前的一些东西用顺手了，一时习惯还改不过来，于是就开始找lex/yacc的替代品。

 

研究过一段时间的antlr，觉得还行，特别是那个GUI做的非常好，但是跟lex/yacc在用法上还是有些差别的，最近才遇到了javacc，觉得跟lex/yacc的写法相当像，就试着 写了一个简单的桌面计算器(desktop-calculator)，大家可以参考一下。 (从下载到javacc.zip到写出这个计算器，大约花了我一个下午的时间，所以你可以很快 的学会javacc，并在实际中应用。)用这类工具的好处是，只要你理解形式语言，那么就可以很方便的做出一个分析起来，而不用关心其实现细节(如词法分析等部分是十分 
枯燥且无意义的)

 

一来这是一个比较经典的例子，通过它的学习，可以迅速掌握一个编译器生成器，或者叫语言解析器生成器。二来最近项目中用到了一些类似的东西，正好趁此机会记下来 以便将来参考。

 

四则运算的计算器的规则非常清晰，可以看一下这个巴克斯范式(BNF)

 expr ::= term ((+|-) term)*
 term ::= factor ((*|/) factor)*
 factor ::= number | expr
 number ::= [0-9]+...

 

  
形式语言的好处就在于其清晰，准确和强大。如果你对正则表达式比较收悉，那么可以很容易掌握形式语言。(正则表达式其实就是一个精简而强大的形式语言实例) 
 
首先，我们需要定义在文法描述中需要用到的所有记号(token)，这是分析器能认识到的最小单元

 TOKEN:{
       "+">
     | "-">
     | "*">
     | "/">
     | "(">
     | ")">
     |
           ["0"-"9"] (["0"-"9"])*
         | (["0"-"9"])+ "." (["0"-"9"])* ()?
         | "." (["0"-"9"])+ ()?
         | (["0"-"9"])+  >
     | <#EXPONENT: ["e","E"] (["+","-"])? (["0"-"9"])+ >
 }

 javacc的记号描述很简单，就是普通的正则表达式，当然用引号引起来的简单单词也算是正则表达式，如记号ADD,就是"+"，这样，当解析器遇到"+"时就返回一个ADD记号，方便在内部使用。 
 
这里详细说一下NUMBER记号，数字怎么表示呢？ 
我们用自然语言可以描述成：以0到9中的任一个数字开头，后边可以有任意多位(包括0位)数字(此为整数)，或者以至少一位数字，后边跟一个小数点，然后又有任意多位的数字，如果使用科学 计数法，则这个数字串后边还可以跟一个E，E后边又可以有正号(+)或者负号(-)，也可以没有，然后，后边又是至少一位数字，或者…… 
 
可以看到，自然语言的描述冗长且不容易理解，我们看看形式语言的描述：首先定义一些符号的意义，如

"|"	表示或者
0-9	表示0到9的一个数字
[]	表示一个区间
"?"	表示其前的区间中的元素重复一次或零次
"+"	表示其前的区间中的元素重复至少一次
"*"	表示其前的区间中的元素重复零次或多次
()	表示一个分组，是一个整

 
好了，有了这些定义，我们再看看如何用形式语言描述一个浮点数或者整数：

 number ::= [0-9]([0-9])* | [0-9]+ '.' ([0-9])+ exponent?
                 | '.' ([0-9])+ exponent?
                 | ([0-9])+ exponent?
 exponent ::= [e,E]([+,-])?([0-9])+

 

可以看到，形式语言在描述这种抽象概念上比自然语言要好得多。一旦掌握了形式语言就可以很容易的理解各种复杂的规则。 
 
词法分析器的一个功能就是剔除源码中的空白字符，比如，空格，制表符，回车换行等

 SKIP:{
     " " | "\t" | "\r" | "\n"
 }

 

有了BNF，我们看看在javacc中，如何表现这些规则：

 void expr():{}
 {
     term()((|)term())*
 }

 void term():{}
 {
     factor()((|)factor())*
 }

 void factor():{}
 {
     |
     expr()
 }

 

  
javacc基本忠实的体现了BNF的规则定义，当然，现在这个解析器的文法部分(词法分析和语法分析) 已经算是结束了，但是它还不能完成任何计算，因为它没有语义的定义部分，即当发现了 此语法现象后该做什么是没有定义的。 
 
相信大家都已经注意到，每个非终结符后边都有两个大括号{}，第一个目前为空。在javacc中，每个非终结符都最终会被翻译成一个方法，(至于怎么翻译的，你可以自己看看它生成的代 码，当年我曾痛苦在yacc生成的一堆yy_*中徜徉过一段时间，现在是实在看不下去了，javacc生成的代码中到处都是jj_*,唉，一个yy,一个jj，生成的代码是看不成了)， 第一个空的大括号中即为将来你自己填写的一些关于这个方法的一些临时变量，包括返回值等信息。 
 
好了，我们看看加入了语义解释后的代码： 

 double expr():
 {
     double temp = 0;
     double first, second;
 }
 {
     //你可以在非终结符前插入变量，等号等，在其后可以插入普通的java代码
     //插入代码后看起来可能不够清晰，可以参看上边的形式定义
     first=term(){temp = first;}
     (second=term(){temp = first + second;}|
      second=term(){temp = first - second;})*
     { return temp;}//最后，应当返回某值
 }

 double term():
 {
     double temp = 0;
     double first, second;
 }
 {
     first=factor(){temp = first;}
     (second=factor(){temp = first * second;}|
      second=factor(){temp = first / second;})*
     { return temp;}
 }

 double factor():
 {
     double temp = 0;
     Token token;
 }
 {
     token={
         return Double.parseDouble(token.image);
     } |  temp=expr() {
         return temp;
     }
 }

 

 
好了，主体部分已经建立好了，我们再来看看声明信息等(形式语言的学习是重点，其余的 都比较简单易学，而且不同的cc都提供大同小异的功能)

 PARSER_BEGIN(CalcParser)
 import java.io.StringReader;
 import java.io.Reader;

 public class CalcParser{
     public CalcParser(String expr){
         this((Reader)(new StringReader(expr)));
     }
     public static void main(String[] args){
         try{
             CalcParser parser = new CalcParser(args[0]);
             System.out.println(parser.expr());
         }catch(Exception e){
             System.out.println("error : "+e.getMessage());
         }
     }
 }
 PARSER_END(CalcParser)

 

 
每个分析器需要一个名字，这个名字定义在PARSER_BEGIN(xxx)中，而且应保证与下面的类声明保持一致： 
public class xxx{} 
 
现在，我们可以用javacc提供的命令行程序来生成我们的计算器，需要注意的是，javacc生成的是java源码，且不再依赖于javacc，你可以将你的分析器源码放在任何地方使用。 
 
$ javacc CalcParser.jj(你看看这文件名后缀)

可以看到有类似的输出;

写道

Java Compiler Compiler Version 4.2 (Parser Generator)
(type "javacc" with no arguments for help)
Reading from file CalcParser.jj . . .
File "TokenMgrError.java" does not exist. Will create one.
File "ParseException.java" does not exist. Will create one.
File "Token.java" does not exist. Will create one.
File "SimpleCharStream.java" does not exist. Will create one.
Parser generated successfully.

 

 
你现在可以试着输入一些表达式让计算器进行计算了。(事例结果见后)

 
如果想要加入一些别的功能，比如，计算表达式的正弦，余弦函数？很简单，我们可以使用 java.lang.Math中提供的一些数学函数。 
 
对规则稍事修改，即可完成我们的需求。当然，这个计算器的还是比较简单的，比如，不能回溯(这个以后再说)，不支持负数，不支持幂计算。但是，如果通过此文，你对形式语言有了比较 好的理解的话，这些问题都是很容易解决的。 
 
下面这些代码是我再上边的这个四则运算计算器的基础上加入了少量规则而成的一个微型函数计算器，其表达式格式类似于JSP中的EL表达式，你可以对其进行扩展，从而使之更加有趣。

 PARSER_BEGIN(CalcParser)
 import java.io.StringReader;
 import java.io.Reader;

 public class CalcParser{
     public CalcParser(String expr){
         this((Reader)(new StringReader(expr)));
     }
     public static void main(String[] args){
         try{
             CalcParser parser = new CalcParser(args[0]);
             System.out.println(parser.elexpr());
         }catch(Exception e){
             System.out.println("error : "+e.getMessage());
         }
     }
 }
 PARSER_END(CalcParser)

 //声明到此结束

 SKIP:{
     " " | "\t" | "\r" | "\n"
 }

 TOKEN:{
       "+">
     | "-">
     | "*">
     | "/">
     | "%">
     | "(">
     | ")">
     |
           ["0"-"9"] (["0"-"9"])*
         | (["0"-"9"])+ "." (["0"-"9"])* ()?
         | "." (["0"-"9"])+ ()?
         | (["0"-"9"])+  >
     | <#EXPONENT: ["e","E"] (["+","-"])? (["0"-"9"])+ >
     | "${">
     | "}">
     | "sin">
     | "cos">
 }

 //记号部分声明到此结束，下面是语法声明，包括语义解释

 double elexpr():
 { double temp = 0; }
 {
     temp=expr()
     { return temp;}
 }

 double expr():
 {
     double temp = 0;
     double first, second;
 }
 {
     first=term(){temp = first;}
     (second=term(){temp = first + second;}|
      second=term(){temp = first - second;})*
     { return temp;}
 }

 double term():
 {
     double temp = 0;
     double first, second;
 }
 {
     first=factor(){temp = first;}
     (second=factor(){temp = first * second;}|
      second=factor(){temp = first / second;})*
     { return temp;}
 }

 double factor():
 {
     double temp = 0;
     Token token;
 }
 {
     token={
         return Double.parseDouble(token.image);
     } |  temp=expr() {
         return temp;
     } |
     temp=expr(){
         return java.lang.Math.sin(temp);
     } |
     temp=expr(){
         return java.lang.Math.sin(temp);
     }
     //如果有兴趣，可以加入更多的java.lang.Math中的数学函数，
     //当然，你也可以加入自己实现的一些方法，如返回前一个运算结果
     //记录历史信息等等。
 }

 

演示计算过程，如：

[juntao@juntao CalcParser]$ java CalcParser '${sin(1/2)*cos(1/4) + 12.3}'
12.418611776418413
[juntao@juntao CalcParser]$ java CalcParser '${(12+45)*(3-23)}'
-1140.0
[juntao@juntao CalcParser]$ java CalcParser '${3e-5}'
3.0E-5
[juntao@juntao CalcParser]$ java CalcParser '${sin(3/4)/2}'
0.34081938001166706

 

 

关于JJTree后边再说吧，最重要的还是上边提到的形式语言，它是一切的基础。

这篇文章可以算是这篇小型桌面计算器的实现(javacc) 的续。

 

可以这么说，使用javacc作分析器生成器，如果没有用到jjTree,那么就是对语义分析 的过程理解不够深入。如果用到了jjTree而且用好了，那么对编译原理，BNF等的理解才算是比较到位了。

jjTree中最重要的概念是Node接口,所有的非终结符都可以规约 为一个节点。这个节点一般来讲是实现了Node接口的节点类
其中主要有这样几个方法：

 ……
   /** This method tells the node to add its argument to the node's
     list of children.  */
   public void jjtAddChild(Node n, int i);

   /** 返回孩子节点，下标从0开始，从左到右 */
   public Node jjtGetChild(int i);

   /** 返回字节点个数 */
   int jjtGetNumChildren();

 ……

 

在本文所举的例子中，每个节点还要实现这样一个接口中声明的方法：

 void interpret()

这个方法中为每个节点具体的计算过程。

 

jjTree处理的脚本(jjTree规则列表)以jjt结尾，这个文件通过jjtree工具可以生成.jj文件，然后用javacc编译.jj文件即可生成分析器生成器的java代码，然后于一些辅助解析的类进行编译，从而最终完成整个脚本引擎。

jjTree有什么用？ 
这个是最核心的问题了，我们都知道jjTree的作用是为了将终结符 通过规则规约 成非终结符节点 。但是，规约的目的又是什么呢？其实，如果你的目标是简单的行解析器的话，根本不需要jjTree。但是，如果需要做一些比较有规模的脚本解析器，比如支持if,while等代码块的话，就需要解析器将这些临时的状态记录下来，那就必须用到jjTree了。

加入了语法树 之后，解析器就需要做出一些修改了，比如需要加入全局的符号表，堆栈等数据结构，以方便规约出非终结符后再做动作时可以取出这些数据。当然，如果你的脚本引擎支持IO的话，这些全局的流描述符也应该和符号表，堆栈放在一起，比如一个单独的类中。

涉及到使用jjTree的项目，即使是演示目的的，一般也比较大，所以，这篇文章中给出的都是一些片段，如果需要，我可以在blog中做一个小系列来说。

比如，看一个例子：

 /** Conditional or expression. */
 void ConditionalOrExpression() #void :
 {}
 {
   ConditionalAndExpression()
   ( "||" ConditionalAndExpression() #OrNode(2) )*
 }

 

上边这段中 #void意思为当遇到ConditionalOrExpression规则时，不生成节点(不规约),而#OrNode(2)则表示如果发现有恰好2个ContionalAndExpression()规则，则规约到一个OrNode节点(需要在外部写一个ASTOrNode类)。

而在ASTOrNode类中，会有下面的动作定义

 public void interpret()
 {
    jjtGetChild(0).interpret();

    if (((Boolean)stack[top]).booleanValue())
    {
       stack[top] = new Boolean(true);
       return;
    }

    jjtGetChild(1).interpret();
    stack[--top] = new Boolean(((Boolean)stack[top]).booleanValue() ||
                               ((Boolean)stack[top + 1]).booleanValue());
 }

 

在语法解析时，当规约出非终结符后，设置ASTOrNode父类的children的数组，然后在ASTOrNode先取出这个数组中的第一个Node进行
递归解析，完成后取出第二个Node进行解析，最后，将这两个解析后的结果进行bool的或运算。整个过程很自然，计算过程放在外部的单独
的类中进行。

再看一个例子：

 /** A block. */
 void Block() :
 {}
 {
   "{" ( Statement() )* "}"
 }

 

用花括号括起来的一些代码表示一个块，怎么解析这个快呢？在ASTBlock中，有这样的运算过程：

 public void interpret()
 {
    int i, k = jjtGetNumChildren();//取出代码块中的代码条数

    for (i = 0; i < k; i++)
       jjtGetChild(i).interpret();//递归解析

 }

 

取出代码块中的代码条数，然后依次执行，如果遇到其他的Node，则递归调用这个Node上的interpret过程，从而执行整个代码块。

希望这篇文章可以说明jjTree的运行机制，但是由于规模所限，有些地方可能还是不太清晰。欢迎留言，我会尽快在blog上写一个小的系列，谢谢！

解释器（Interpreter）模式： 
解释器模式是类的行为模式。给定一个语言之后，解释器模式可以定义出其文法的一种表示，并同时提供一个解释器。客户端可以使用这个解释器 
来解释这个语言中的句子。 

一、解释器模式所涉及的角色 
1、抽象表达式角色：声明一个所有的具体表达式角色都需要实现的抽象接口。这个接口主要是一个interpret()方法，称做解释操作。 
2、终结符表达式角色：这是一个具体角色。 
（1）实现了抽象表达式角色所要求的接口，主要是一个interpret()方法； 
（2）文法中的每一个终结符都有一个具体终结表达式与之相对应。 
3、非终结符表达式角色：这是一个具体角色。 
（1）文法中的每一条规则 R=R1R2.....Rn 都需要一个具体的非终结符表达式类； 
（2）对每一个 R1R2.....Rn 中的符号都持有一个静态类型为Expression的实例变量。 
（3）实现解释操作，即 interpret()方法。解释操作以递归方式调用上面所提到的代表 R1R2.....Rn  中的各个符号的实 
     例变量 
4、客户端角色：代表模式的客户端它有以下功能 
（1）建造一个抽象语法树（AST或者Abstract Syntax Tree） 
（2）调用解释操作interpret()。 
5、环境角色：（在一般情况下，模式还需要一个环境角色）提供解释器之外的一些全局信息，比如变量的真实量值等。 

（抽象语法树的每一个节点都代表一个语句，而在每一个节点上都可以执行解释方法。这个解释方法的执行就代表这个语句被解释。 
  由于每一个语句都代表对一个问题实例的解答。） 

 //抽象角色Expression
       /*
         这个抽象类代表终结类和非终结类的抽象化
         其中终结类和非终结类来自下面的文法
         Expression ::=
                 Expression AND Expression
                 | Expression OR Expression
                 | NOT Expression
                 | Variable
                 | Constant
         Variable ::= ....//可以打印出的非空白字符串
         Constant ::= "true" | "false"
       */

       public abstract class Expression{
         //以环境类为准，本方法解释给定的任何一个表达式
         public abstract boolean interpret(Context ctx);

         //检验两个表达式在结构上是否相同
         public abstract boolean equals(Object o);

         //返回表达式的hash code
         public abstract int hashCode();

         //将表达式转换成字符串
         public abstract String toString();
       }

       public class Constant extends Expression{
         private boolean value;

         public Constant(boolean value){
             this.value = value;
         }
         //解释操作
         public boolean interpret(Context ctx){
             return value;
         }

         //检验两个表达式在结构上是否相同
         public boolean equals(Object o){
             if(o != null && o instanceof Constant){
                 return this.value == ((Constant)o).value;
             }
             return false;
         }

         //返回表达式的hash code
         public int hashCode(){
             return (this.toString()).hashCode();
         }

         //将表达式转换成字符串
         public String toString(){
             return new Boolean(value).toString();
         }
       }

       public class Variable extends Expression{
         private String name;
         public Variable(String name){
             this.name = name;
         }

         public boolean interpret(Context ctx){
             return ctx.lookup(this);
         }

         public boolean equals(Object o){
             if(o != null && o instanceof Variable){
                 return this.name.equals(((Variable)o).name);
             }
             return false;
         }

         public int hashCode(){
             return (this.toString()).hashCode();
         }

         public String toString(){
             return name;
         }
       }

       public class And extends Expression{
         private Expression left,right;

         public And(Expression left,Expression right){
             this.left = left;
             this.right = right;
         }

         public boolean interpret(Context ctx){
             return left.interpret(ctx) &&
                 right.interpret(ctx);
         }

         public boolean equlas(Object o){
             if(o != null && o instanceof And){
                 return this.left.equals(((And)o).left) &&
                     this.right.equals(((And)o).right);
             }
             return false;
         }

         public int hashCode(){
             return (this.toString()).hashCode();
         }

         public String toString(){
             return "(" + left.toString() + "AND" + right.toString() + ")";
         }
       }

       public class Or extends Expression{
         private Expression left , right;

         public Or(Expression left,Expression right){
             this.left = left;
             this.right = right;
         }

         public boolean interpret(Context ctx){
             return left.interpret(ctx) || right.interpret(ctx);
         }

         public boolean equals(Object o){
             if(o != null && o instanceof Or){
                 return this.left.equals(((And)o).left) &&
                     this.right.equals(((And)o).right);
             }
             return false;
         }

         public int hashCode(){
             return (this.toString()).hashCode();
         }

         public String toString(){
             return "(" + left.toString() + "OR" + right.toString() + ")";
         }
       }

        public class Not extends Expression{
         private Expression exp;

         public Not(Expression exp){
             this.exp = exp;
         }

         public boolean interpret(Context ctx){
             return !exp.interpret(ctx);
         }

         public boolean equals(Object o){
             if(o != null && o instanceof Not){
                 return this.exp.equals(((Not)o).exp);
             }
             return false;
         }

         public int hashCode(){
             return (this.toString()).hashCode();
         }

         public String toString(){
             return "(NOT" + exp.toString() + ")";
         }
       }

       import java.util.HashMap;

       public class Context{
         private HashMap map = new HashMap();
         public void assign(Variable var,boolean value){
             map.put(var,new Boolean(value));
         }

         public boolean lookup(Variable var) throws IllegalArgumentException{
             Boolean value = (Boolean)map.get(var);
             if(value == null){
                 throw new IllegalArgumentException();
             }
             return value.booleanValue();
         }
       }

       //客户端
       public class Client{
         private static Context ctx;
         private static Expression exp;

         public static void main(String args[]){
             ctx = new Context();
             Variable x = new Variable("x");
             Variable y = new Variable("y");

             Constant c = new Constant(true);
             ctx.assign(x,false);
             ctx.assign(y,true);

             exp = new Or(new And(c,x),new And(y,new Not(x)));
             System.out.println("x = " + x.interpret(ctx));
             System.out.println("y = " + y.interpret(ctx));
             System.out.println(exp.toString() + "=" + exp.interpret(ctx));
         }
       }

二、解释器模式适用于以下的情况： 
（1）系统有一个简单的语言可供解释 
（2）一些重复发生的问题可以用这种简单的语言表达 
（3）效率不是主要的考虑。