ANTLR3完全参考指南读书笔记[01]

引用

Terence Parr. The Definitive ANTLR Reference, Building Domain Specific Languages(antlr3 version).

 

前言

[1]为什么有了lex/yacc(flex/bison),为什Parr还要写个ANTLR？

C语言是拿着剃须刀在滑冰，Java是“隐藏”了指针的支持OO的C语言族中相对简单的语言，随着Martin的DSL概念深入人心，不管怎样，还是印证了那句话：模仿是最大的恭维。尽管这对有10+编译器方向工作的Parr来说，这样评价有点不公平。

[2]现在ANTLR已有版本4了，为什么还看版本3的参考指南？

Parr的另一本书《编程语言实现模式》中是用的版本3。

 

内容

不阐述编译器、DSL方面的概念，纯粹从该书的示例说起。

AntlrWorks工具在后面笔记中记录。

一个带变量的简单算术表达式语言的解释器两种实现方式：

(1)文法(词法、语法)识别器(recognizer)——>在文法中融入动作(action)实现解释器(translator)

(2)构建文法的AST(抽象语法树)中间表示——>编写树文法(tree grammer)，遍历AST实现解释器

 

正文

依赖：antlr-3.5-complete.jar

语言样例：

a=12

b=23

2 + a*b

2 * (a + b)

 

 

1 动作驱动的解释器

1.1 文法识别器

//Expr.g，文件名称必须与grammar后名称一致，后缀名为.g

grammar Expr;

 

prog : stat+

;

 

stat : expr NEWLINE

| ID '=' expr NEWLINE

| NEWLINE

;

 

expr : multExpr (('+' | '-') multExpr)*

;

multExpr : atom ('*' atom)*

;

atom : INT

| ID

| '(' expr ')'

;

 

ID : ('a'..'z'|'A'..'Z')+;

INT :('0'..'9')+;

NEWLINE : '\r'?'\n';

WS : (' '|'\t'|'\n'|'\r')+ {skip();}; 

 

 

生成parser、lexer和tokens命令

java -classpath antlr-3.5-complete.jar org.antlr.Tool Expr.g

生成文件ExprLexer.java、ExpreParser.java、Expr.tokens

 

编写识别测试类(test rig)Test

package impatient;

import java.io.File;

import java.io.FileInputStream;

import java.io.InputStream;

import org.antlr.runtime.*;

 

public class Test {

public static void main(String[] args) throws Exception {

InputStream is = new FileInputStream(new File("D:/workspace/maven/antlrv3/language/impatient.test"));//impatient.test中包含语言样例

// create a CharStream that reads from standard input

// ANTLRInputStream input = new ANTLRInputStream(System.in);

ANTLRInputStream input = new ANTLRInputStream(is);

 

// create a lexer that feeds off of input CharStream

ExprLexer lexer = new ExprLexer(input);

 

// create a buffer of tokens pulled from the lexer

CommonTokenStream tokens = new CommonTokenStream(lexer);

 

// create a parser that feeds off the tokens buffer

ExprParser parser = new ExprParser(tokens);

// begin parsing at rule r

parser.prog();

}

}

 

 

1.2 文法+动作

直接在文法中添加动作(java代码，用{}包含)，严重影响文法的可读性！

//添加动作后的Expr.g

grammar Expr;

 

@header {

import java.util.HashMap;

}

 

@members {

HashMap memory = new HashMap();

}

 

prog : stat+

;

 

stat : expr NEWLINE {System.out.println($expr.value);}

| ID '=' expr NEWLINE {memory.put($ID.text, new Integer($expr.value));}

| NEWLINE

;

 

expr returns [int value]

: e=multExpr {$value = $e.value;}

('+' e=multExpr {$value += $e.value;}

| '-' e=multExpr {$value -= $e.value;}

)* 

;

multExpr returns [int value]

: e=atom {$value = $e.value;} ('*' e=atom {$value *= $e.value;})*

;

atom returns [int value]

: INT {$value = Integer.parseInt($INT.text);}

| ID

{

Integer v = (Integer) memory.get($ID.text);

if(v != null) $value = v.intValue();

else System.err.println("undefined variable " + $ID.text);

}

| '(' expr ')' {$value = $expr.value;}

;

 

ID : ('a'..'z'|'A'..'Z')+;

INT :('0'..'9')+;

NEWLINE : '\r'?'\n';

WS : (' '|'\t'|'\n'|'\r')+ {skip();}; 

  重新生成parser、lexer和tokens，仍采用test rig Test运行

 

 

2 树文法驱动的解释器

2.1 AST

//生成输出中间表示(IR)的Expr.g

grammar Expr;

 

options {

output = AST;

ASTLabelType = CommonTree;

}

 

prog : (stat {System.out.println($stat.tree.toStringTree());})+

;

 

stat : expr NEWLINE -> expr

| ID '=' expr NEWLINE -> ^('=' ID expr)

| NEWLINE ->

;

 

expr returns [int value]

: multExpr (('+'^ | '-'^) multExpr)*

;

multExpr : atom ('*'^ atom)*

;

atom : INT

| ID

| '('! expr ')'!

;

 

ID : ('a'..'z'|'A'..'Z')+;

INT :('0'..'9')+;

NEWLINE : '\r'?'\n';

WS : (' '|'\t'|'\n'|'\r')+ {skip();}; 

 两个后缀符号：!不输入AST、^作为AST的子根节点

->符号用于说明生成的AST结构

 

重新生成parser、lexer和tokens，仍采用test rig Test运行

结果输出AST的一维串行表示

 

2.2 树文法

//树文法Eval.g，与Expr.g共用tokens

tree grammar Eval;

 

options {

tokenVocab=Expr;

ASTLabelType=CommonTree;

}

 

@header {

import java.util.HashMap;

}

 

@members {

HashMap memory = new HashMap();

}

 

prog : stat+;

 

stat : expr {System.out.println($expr.value);}

| ^('=' ID expr) {memory.put($ID.text, new Integer($expr.value));}

;

 

expr returns [int value]

: ^('+' a=expr b=expr) {$value = a + b;}

| ^('-' a=expr b=expr) {$value = a - b;}

| ^('*' a=expr b=expr) {$value = a * b;}

| ID

{

Integer v = (Integer)memory.get($ID.text);

if(v!=null) $value = v.intValue();

else System.err.println("undefined variable " + $ID.text);

}

| INT {$value = Integer.parseInt($INT.text);}

;

  

生成treeparser命令

 

java -classpath antlr-3.5-complete.jar org.antlr.Tool Eval.g

生成文件Eval.java、Eval.tokens

 

AST遍历程程解释器test rig ASTTest

package impatient;

 

import java.io.File;

import java.io.FileInputStream;

import java.io.InputStream;

import org.antlr.runtime.*;

import org.antlr.runtime.tree.CommonTree;

import org.antlr.runtime.tree.CommonTreeNodeStream;

public class ASTTest {

public static void main(String[] args) throws Exception {

InputStream is = new FileInputStream(new File("D:/workspace/maven/antlrv3/language/impatient.test"));

// create a CharStream that reads from standard input

// ANTLRInputStream input = new ANTLRInputStream(System.in);

ANTLRInputStream input = new ANTLRInputStream(is);

 

// create a lexer that feeds off of input CharStream

ExprLexer lexer = new ExprLexer(input);

 

// create a buffer of tokens pulled from the lexer

CommonTokenStream tokens = new CommonTokenStream(lexer);

 

// create a parser that feeds off the tokens buffer

ExprParser parser = new ExprParser(tokens);

 

// get rule prog return value structure

ExprParser.prog_return r = parser.prog();

 

// WALKING RESULTING TREE

CommonTree tree = r.getTree();

// one dimensional tree node stream

CommonTreeNodeStream nodes = new CommonTreeNodeStream(tree);

// tree parser

Eval walker = new eval_r(nodes);

walker.prog();

}

}

 

 

3 遗憾

ANTLR文法也是一种DSL，其语法和标识需要在后面的笔记中记录。