Scala词法文法解析器 （二）分析C++类的声明

最近一直在学习Scala语言，偶然发现其Parser模块功能强大，乃为BNF而设计。啥是BNF，读大学的时候在课本上见过，那时候只觉得这个东西太深奥。没想到所有的计算机语言都是基于BNF而定义的一套规范。词法，语法，词法，语法。。。下面看看解析C++类声明的一个简单例子吧。

class CPlusPlusParser extends StandardTokenParsers{
  //分隔符，用于repsep，和其它显示的地方 lexical.delimiters += (":","::","<",">","(",")","&","{","}",";",",","~") //关键字集合,所有在解析方法中，以字符串形式出现的单词，都必须加入保留字集合，保留字大部分属于关键字 lexical.reserved += ("class","public","private","protected","operator","const","mutable","static") // 注意： 词法分析过程中，会自动删除空白，注释等不必要的内容。 /** * 解析类，包含7个部分，解析的时候是按照顺序严格的匹配。 *1. class 关键字 *2. ident 标识符 被解析为类的名称 *3. opt(parserBaseClasses) 可选的基类集合 *4. { 类定义开始 *5.opt(parserClassBody) 可选的类内容，如果没有，就是一个空类了。 *6. } 和 ； 类定于的结束标记. * */ def parserClass : Parser[Any] = { "class"~ident~opt(parserBaseClasses)~"{"~opt(parserClassBody)~"}"~";" } /** * 解析基类集合 * 1. : 分隔符，用于分割类名称和基类集合，如果没有改分隔符则表明该类没有基类。 * 2. repsep(parserOneBaseClass,",") 解析一个或者多个基类，C++支持多继承，每个继承以逗号(,)分割 */ def parserBaseClasses : Parser[Any] ={ ":"~repsep(parserOneBaseClass,",") } /** * 解析单一继承 *1.opt("public"|"private"|"protected") 没有包含范围修饰符时，C++默认为private继承 *2.parserType 基类名称 */ def parserOneBaseClass : Parser[Any] ={ opt("public"|"private"|"protected")~parserType } /** * 解析类型 * 1.rep(parserTypeNamespace) 可选的名称前缀，例如std::string,std::tr1::shared_ptr,包含了名称前缀 * 2.ident 类型名称 * 4.opt("<"~repsep(parserType,",")~">") 模板类型，及其嵌套解析，在此属于递归解析 * * 次类型没有考虑解析“unsigned” 数据类型 */ def parserType : Parser[Any] ={ rep(parserTypeNamespace)~ident~opt("<"~repsep(parserType,",")~">") } /* * 解析单一名称空间*/ def parserTypeNamespace : Parser[Any] ={ ident~"::" } /* * 解析类的内容，类的成员，如果没有public，private，protected等修饰符，则为默认private * 1.rep(parserFun|parserField) 解析可能包含的默认的private范围的方法和字段 * 2.rep(parserSection) 后续可能包含其他public，private，protected修饰的字段。 * * 例如一个类可以包含public：private： 等多个不同的范围修饰段 * */ def parserClassBody : Parser[Any] = { rep(parserFun|parserField)~rep(parserSection) } /** * 解析每一个具体的范围访问段。可能是public、private或者protected，并且包含一些列的方法和字段 */ def parserSection : Parser[Any] = { ("public"|"private"|"protected")~":" ~rep(parserFun|parserField) } /* * 解析方法的声明，在此没有解析方法的定义，比较复杂。 * 1. opt(opt("virtual")~(parserReturnValue|"~")) 方法的返回值，之所以使用opt，是因为构造函数没有返回值，~用于析构函数的解析 * 2. ident 方法名称，在此没有解析操作符重载方法，如果需要，需要另外单独定义， * 3. "("~repsep(parserFunParam,",")~")" 解析参数列表，不支持 （void) 模式的参数，请使用()替代（void) * 4. opt("const") 可选的const修饰符 * 5.; 函数声明结束 * * 没有包含静态方法（static），很容易根据此模板写出来 * */ def parserFun : Parser[Any] ={ opt(opt("virtual")~(parserReturnValue|"~"))~ident~"("~repsep(parserFunParam,",")~")"~opt("const")~";" } /** * 解析返回值 * 1.包含可选的const修饰符 * 2.返回值的具体类型 * 3.包含可选的引用 */ def parserReturnValue : Parser[Any] ={ opt("const")~parserType~opt("&") } /** * 解析一个函数参数，数据类型与 parserReturnValue，不过多了参数名称和可选的默认值 */ def parserFunParam : Parser[Any] = { opt("const")~parserType~opt("&")~ident~opt("="~(numericLit|stringLit|ident)) // 默认参数支持false，true，数字，字符串 } /* * 解析字段定义 * 1.可选的字段修饰符 * 2.字段数据类型，不支持unsigned，相对容易。在此不给出 * 3.ident 字段名称 * 4.; 字段定义结束*/ def parserField : Parser[Any] ={ opt("const"|"mutable"|"static") ~parserType~ident~";" } def parserAll[T]( p : Parser[T], input :String) = { phrase(p)( new lexical.Scanner(input)) } } object CPlusPlusParser { def main( args : Array[String]) { val c = new CPlusPlusParser val r = c.parserAll(c.parserClass, """ |class MyClass : public A, public N { |int a; |void SetA( int v ); |int GetA()const; |public : |int a; |void SetA( int v ); |int GetA()const; |}; """.stripMargin) println(r) /* 测试输出 [11.11] parsed: ((((((class~MyClass)~Some((:~List((Some(public)~((List()~A)~None)), (Some(public)~((List()~N)~None))))))~{)~Some((List((((None~((List()~int)~None))~a)~;), ((((((Some((None~((None~((List()~void)~None))~None)))~SetA)~()~List(((((None~((List()~int)~None))~None)~v)~None)))~))~None)~;), ((((((Some((None~((None~((List()~int)~None))~None)))~GetA)~()~List())~))~Some(const))~;))~List(((public~:)~List((((None~((List()~int)~None))~a)~;), ((((((Some((None~((None~((List()~void)~None))~None)))~SetA)~()~List(((((None~((List()~int)~None))~None)~v)~None)))~))~None)~;), ((((((Some((None~((None~((List()~int)~None))~None)))~GetA)~()~List())~))~Some(const))~;)))))))~})~;) Process finished with exit code 0 */ } }

 

后续目标是分析头文件，提前所有类和枚举的定义。自动转换为protobuf接口，并且自动生成protobuf消息和类之间进行编解码的接口。还可以以类为蓝本生成其它语言的对象及其与protobuf消息之间的编解码。这样以后在涉及到客户机和服务器通信的时候，大部分的业务数据对象都只要写一次，其它自动生成，并小改动。

 

想要写个C++类的词法文法分析由来已久。一直找不到好的方法，之前尝试使用正则表达式来解析，但是有点受限，正则表达式过于复杂，而且一般是按行分析的。之所以要分析提取C++类的信息

参考: 

Scala词法文法解析器　（一）解析SparkSQL的BNF文法

 

转自： Scala 文法词法分析---分析C++类的声明