MYC编译器源码之词法分析

前文  .NET框架源码解读之MYC编译器 和 MYC编译器源码分析之程序入口 分别讲解了 SSCLI 里示例编译器的架构和程序入口，本文接着分析它的词法分析部分的代码。

词法解析的工作都由Tok类处理，其构造函数接受一个Io对象做文件处理，下面是Tok构造函数的源码：

public Tok(Io ihandle)

{

    io = ihandle;

    // 初始化Token（字符归类）字典

    InitHash();            // initialize the tokens hashtable

    // 读入文件的第一个字符

    io.ReadChar();

    // 逐个扫描文件里的字符，获取

    // 第一个字符归类（Token）

    scan();

}

 

构造函数中第一个函数调用InitHash的目的是将关键字和操作符解析成更容易识别的字符类型识别号 - Token，这样做的目的是为了便于语法解析器parser处理。例如，对于下面这条C语句： 

int foo(int a)

 

与其让语法解析器去逐个处理单个字符，词法解析器的作用是将去上面一行语句归类成类似下面的格式： 

T_INT T_IDENT ‘(‘ T_INT T_IDENT ‘)’

 

因为T_INT，T_IDENT都是一个整数型常量，而’(‘这样的单个字符也可以当作整数型常量对待，这样语法解析器在分析语法的时候工作会更轻松些。所以在InitHash函数里，其把编程语言里所有的关键字和多字符操作符（如左移赋值操作符 <<=）都设置了类型标识号（Token），在Tok对象的scan()函数扫描源文件时，会逐一在这个字典里查询关键字的标识号：

public void InitHash()

{

    // 为字符类型识别号对照表 – tokens分配空间

    tokens = new Hashtable();

    AddTok(T_LEFT_ASSIGN,    "<<=");     

    // ... ...

    AddTok(T_IF,        "if");

    // ... ...

    AddTok(T_STATIC,        "static");

    AddTok(T_INT,        "int");

    // ... ...

}

 

而对应的每个标识号（Token）的定义，则可以在Tok.cs源文件的最上面找到： 

public const int T_LEFT_ASSIGN    = 10001;

// ... ...

public const int T_IF            = 20001;

// ... ...

public const int T_STATIC        = 30002;

// ... ...

public const int T_INT        = 40003;

// ... ...

public const int T_IDENT         = 50001;

public const int T_DIGITS         = 50002;

public const int T_UNKNOWN        = 99999;

public const int T_EOF         = -1;

 

字符类型识别号对照表初始化完毕后，语法分析器就可以调用Tok对象的scan函数进行语法处理了，scan函数每次只处理并返回一个字符类型： 

public void scan()

{

    // 跳过注释、换行符、空格等字符

    skipWhite();

    // 先判断当前读取的字符是不是一个字母

    // 如果是字母开头的话，要么是关键字，

    // 要么就是变量名

    if (Char.IsLetter(io.getNextChar()))

      // 逐个扫描后面的字符，直到识别出关键字

      // 或者变量名为止才退出

      LoadName();

    // 如果当前的字符是 0 - 9的数字

    else if (Char.IsDigit(io.getNextChar()))

      // 扫描完后面的数字并归类

      LoadNum();

    // 如果是操作符，扫描完后面的操作符字符串

    else if (isOp(io.getNextChar()))

      LoadOp();

    // 如果文件已经读取完毕了

    else if (io.EOF())

      {

      // 返回特殊的识别符 T_EOF，表示文件读取完毕

      value = null;

      token_id = T_EOF;

      }

    else

      {

      // 这个字符不是一个合法的字符，归类成T_UNKNOWN

      // T_UNKNOWN没有被任何语法引用

      // 如果语法分析器在扫描语法的过程中

      // 看到这个识别符，很有可能是源码里有语法错误

      value = new StringBuilder(MyC.MAXSTR);

      value.Append(io.getNextChar());

      token_id = T_UNKNOWN;

      io.ReadChar();

      }

    skipWhite();

    // 条件编译，如果是myc.exe是调试版本，则在命令行里

    // 打印出当前识别的字符类型，便于myc.exe的开发者排错

#if DEBUG

    Console.WriteLine("[tok.scan tok=["+this+"]");

#endif

}

 

scan函数是Tok对象里最核心的函数，它实际上是完成前面myc语法里这些词法规则（还有隐含的关键字和操作符识别）：

letter ::= "A-Za-z";

digit ::= "0-9";



name ::= letter { letter | digit };

integer ::= digit { digit };

 

我们再通过说明LoadName函数来解释词法分析的细节： 

void LoadName()

{

  // 缓存读取到的字符

  value = new StringBuilder(MyC.MAXSTR);

  skipWhite();  

  // 错误验证 - 确保第一个字符是字母

  if (!Char.IsLetter(io.getNextChar()))

    throw new ApplicationException("?Expected Name");

  // 后面跟着的字符只能是数字或者字母

  while (Char.IsLetterOrDigit(io.getNextChar()))

    {

    // 缓存字符，以便判断是变量名，还是关键字

    value.Append(io.getNextChar());

    // 从源文件里读取下一个字符

    io.ReadChar();

    }

  // 在字符类型识别表里查询读取到的词组是不是关键字

  token_id = lookup_id();

  // 不是关键字的话，那么就是变量名（或函数名）

  if (token_id <= 0)

    token_id = T_IDENT;

  skipWhite();

}

 

上面基本上就是词法分析的关键代码了，不过在说明的时候，我特意跳过了构造函数的 io.ReadChar()这个函数，这个函数从字面意义上看是读取一个字符，但实际上从源文件一个字符一个字符的读取效率实在是太低了，因此一般都是从源文件里读取一大段字符并缓存在内存里，提高效率：

// Io.cs – ReadChar函数



public void ReadChar()

{

  // 判断是不是读到文件末尾了

  if (_eof)            // if already eof, nothing to do here

    return;

  // 如果缓存还没有实例化，或者缓存里的字符

  // 已经处理完毕了，创建一个新的缓存

  // 对于老的缓存数组，丢给垃圾回收机制处理

  if (ibuf == null || ibufidx >= MyC.MAXBUF)

    {

    ibuf = new char[MyC.MAXBUF];

    _eof = false;

    // 从源文件里读取一大块内容到缓存里

    ibufread = rfile.Read(ibuf, 0, MyC.MAXBUF);

    ibufidx = 0;

    if (buf == null)

      buf = new StringBuilder(MyC.MAXSTR);

    }

  // 从缓存里读取下一个字符

  look = ibuf[ibufidx++];

  // 判断这次读取时，是否已经到源文件末尾了

  if (ibufread < MyC.MAXBUF && ibufidx > ibufread)

    _eof = true;



  /*

   * track the read characters

   */

  // 保存当前读取的字符，以便在生成IL源文件的时候

  // 可以把C源码跟生成的IL源码对应起来

  buf.Append(look);

  // 如果碰到换行，更新行号，行号在报告语法错误

  // 的时候会用到，告知具体语法出错的行号便于

  // 程序员找到错误

  if (look == '\n')

    bufline++;

}

 

在Io.ReadChar函数里，会保存读取的C源码，当要生成IL源文件的时候，这个信息用来保存C语句跟IL语句的对应关系，如用下面的命令编译myc里自带的测试源码文件：

效果如下图：