postgresql 内核源码分析 语法解析 gram.y

　

• 专栏内容：postgresql内核源码分析
• 个人主页：我的主页
• 座右铭：天行健，君子以自强不息；地势坤，君子以厚德载物．

---

目录

前言

概述

流程简介

调用流程

语法解析详细分解

raw_parser的主流程

词法与语法分析器的实例化

与词法解析器的使用

scanner_init的流程

与语法解析器的使用

parser_init的流程

base_yyparse执行

scanner_finish清理

结尾

---

前言

本文是基于postgresql 15的代码进行分析解读，演示是在centos8系统上进行。

---

概述

通过flex/bison进行词法和语法解析，生成语法分树。

当然这里使用的是pure-parse模式，也就是flex的输入是指定的str，而且需要初始化每个scanner的额外数据及扫描状态结构；

在bison中也是，需要初始化对应的词法scanner状态结构和额外数据的结构。

这样就可以将客户端输入的SQL字符串输入到词法分析器，这个词法分析器的输出对应到语法分析器，语法分析器将解析后的内容存到语法树中。

当然，这样做的另一个好处是，可以实例化词法-语法分析器，也就是可以并发处理多个客户端的SQL输入，启用多个词法-语法分析对输入进行分析，并生成多个语法树，这就是数据库并发多客户端。

流程简介

代码位置：

src/backend/parser/parser.c

raw_parser函数中初始化词法，语法分析器，并将SQL字符串输入，并输出语法树。

调用流程

exec_simple_query

-> pg_parse_query

-> raw_parser

在pg_parse_query 中可以定义 这两个宏，打开调试代码。

COPY_PARSE_PLAN_TREES

WRITE_READ_PARSE_PLAN_TREES

在pg_parse_query中只是包装了raw_parser，返回parse_tree_list；

然后由exec_simple_query继续进行分析，成生解析树，再生成计划树，到执行；

语法解析详细分解

• raw_parser的主流程

（1）初始化词法分析器；客户端收到的SQL字符串做为词法分析器的输入；

（2）初始化语法分析器；

（3）开始语法分析，调用base_yyparse解析语法，当然它的输入是词法分析器上下文yyscanner；

（4）返回语法树；

• 词法与语法分析器的实例化

在我的博客《postgresql 词法/语法(scanner/parser)中flex/bison介绍》

一文中已经介绍了flex/bison的机制和简单用法。

Postgresql是可以并发访问的数据库，所以同时会有多个输入SQL同时进行解析，当然我们不能用一套词法/语法解析器，那它就成了性能瓶颈。

那如何做呢？

也就是刚看到的raw_parser中的主流程，每个并发分别动态初始化词法/语法分析器，词法分析器的输入不再是标准输入，而直接就是字符串指定。

而对应的语法分析器，输入就成了刚才初始化的词法分析器。

这样多个并发，互相独立进行解析。

• 与词法解析器的使用

词法分析器的初始化

core_yyscan_t

scanner_init(const char *str,

                         core_yy_extra_type *yyext,

                          const ScanKeywordList *keywordlist,

                          const uint16 *keyword_tokens)

它定义在

src/backend/parser/scan.l

由flex编译之后生成

src/backend/parser.scan.c

• scanner_init的流程

（1）调用yylex_init初始化词法分析器上下文scan

（2）将用户数据绑定到词法分析器的yyextra；这里的用户数据是指在词法分析器返回标识时，同时还需要记录一些数据，这些数据就记录在yyextra中。

（3）初始化用户数据结构，同时将SQL字符串拷到用户数据中；

（4）调用yy_scan_buffer，将词法分析器的输入设置为用户数据中的SQL字符buffer；

（5）最后初始化解析使用的buffer；

（6）返回以上初始化的scanner；

• 与语法解析器的使用

语法分析器的初始化

void

parser_init(base_yy_extra_type *yyext)

语法分析的执行

int        base_yyparse(core_yyscan_t yyscanner);

动态分配空间的清理

void

scanner_finish(core_yyscan_t yyscanner)

定义在

src/backend/parser/gram.y,

通过bison编译后生成

src/backend/parser/gram.c

• parser_init的流程

这里只是将语法树初始化为NULL；对用户数据并没有使用，为什么呢？

因为语法解析树也是存储在用户数据部分。在语法定义时gram.y中，对语法表达式绑定了对应结构的类型，对应数据就在语法树中进行存储，所以语法解析器只是解析就OK了。

• base_yyparse执行

语法解析的执行，其实它同时驱动词法分析和语法解析，词法分析每解析返回一个标识，语法解析就进行表达式规则匹配。

当有匹配的表达式，就执行对应规则，将数据存到语法树节点中。

具 体规则，可以看当前专栏的博文

在我的博客《postgresql 词法/语法(scanner/parser)中flex/bison介绍》

• scanner_finish清理

这里只对SQL和分析buffer进行了清理，对词法分析器scanner并没有清理。

---

结尾

作者邮箱：[email protected]
如有错误或者疏漏欢迎指出，互相学习。

注：未经同意，不得转载！