postgresql 内核源码分析 语法解析 gram.y

 

  • 专栏内容:postgresql内核源码分析
  • 个人主页:我的主页
  • 座右铭:天行健,君子以自强不息;地势坤,君子以厚德载物.

目录

前言

概述

流程简介

调用流程

语法解析详细分解

raw_parser的主流程

词法与语法分析器的实例化

与词法解析器的使用

scanner_init的流程

与语法解析器的使用

parser_init的流程

base_yyparse执行

scanner_finish清理

结尾


前言

本文是基于postgresql 15的代码进行分析解读,演示是在centos8系统上进行。


概述

通过flex/bison进行词法和语法解析,生成语法分树。

当然这里使用的是pure-parse模式,也就是flex的输入是指定的str,而且需要初始化每个scanner的额外数据及扫描状态结构;

在bison中也是,需要初始化对应的词法scanner状态结构和额外数据的结构。

这样就可以将客户端输入的SQL字符串输入到词法分析器,这个词法分析器的输出对应到语法分析器,语法分析器将解析后的内容存到语法树中。

当然,这样做的另一个好处是,可以实例化词法-语法分析器,也就是可以并发处理多个客户端的SQL输入,启用多个词法-语法分析对输入进行分析,并生成多个语法树,这就是数据库并发多客户端。

流程简介

代码位置:

src/backend/parser/parser.c

raw_parser函数中初始化词法,语法分析器,并将SQL字符串输入,并输出语法树。

调用流程

exec_simple_query

-> pg_parse_query

-> raw_parser

在pg_parse_query 中可以定义 这两个宏,打开调试代码。

COPY_PARSE_PLAN_TREES

WRITE_READ_PARSE_PLAN_TREES

在pg_parse_query中只是包装了raw_parser,返回parse_tree_list;

然后由exec_simple_query继续进行分析,成生解析树,再生成计划树,到执行;

语法解析详细分解

  • raw_parser的主流程

(1)初始化词法分析器;客户端收到的SQL字符串做为词法分析器的输入;

(2)初始化语法分析器;

(3)开始语法分析,调用base_yyparse解析语法,当然它的输入是词法分析器上下文yyscanner;

(4)返回语法树;

  • 词法与语法分析器的实例化

在我的博客《postgresql 词法/语法(scanner/parser)中flex/bison介绍》

一文中已经介绍了flex/bison的机制和简单用法。

Postgresql是可以并发访问的数据库,所以同时会有多个输入SQL同时进行解析,当然我们不能用一套词法/语法解析器,那它就成了性能瓶颈。

那如何做呢?

也就是刚看到的raw_parser中的主流程,每个并发分别动态初始化词法/语法分析器,词法分析器的输入不再是标准输入,而直接就是字符串指定。

而对应的语法分析器,输入就成了刚才初始化的词法分析器。

这样多个并发,互相独立进行解析。

  • 与词法解析器的使用

词法分析器的初始化

core_yyscan_t

scanner_init(const char *str,

                         core_yy_extra_type *yyext,

                          const ScanKeywordList *keywordlist,

                          const uint16 *keyword_tokens)

它定义在

src/backend/parser/scan.l

由flex编译之后生成

src/backend/parser.scan.c

  • scanner_init的流程

(1)调用yylex_init初始化词法分析器上下文scan

(2)将用户数据绑定到词法分析器的yyextra;这里的用户数据是指在词法分析器返回标识时,同时还需要记录一些数据,这些数据就记录在yyextra中。

(3)初始化用户数据结构,同时将SQL字符串拷到用户数据中;

(4)调用yy_scan_buffer,将词法分析器的输入设置为用户数据中的SQL字符buffer;

(5)最后初始化解析使用的buffer;

(6)返回以上初始化的scanner;

  • 与语法解析器的使用

语法分析器的初始化

void

parser_init(base_yy_extra_type *yyext)

语法分析的执行

int        base_yyparse(core_yyscan_t yyscanner);

动态分配空间的清理

void

scanner_finish(core_yyscan_t yyscanner)

定义在

src/backend/parser/gram.y,

通过bison编译后生成

src/backend/parser/gram.c

  • parser_init的流程

这里只是将语法树初始化为NULL;对用户数据并没有使用,为什么呢?

因为语法解析树也是存储在用户数据部分。在语法定义时gram.y中,对语法表达式绑定了对应结构的类型,对应数据就在语法树中进行存储,所以语法解析器只是解析就OK了。

  • base_yyparse执行

语法解析的执行,其实它同时驱动词法分析和语法解析,词法分析每解析返回一个标识,语法解析就进行表达式规则匹配。

当有匹配的表达式,就执行对应规则,将数据存到语法树节点中。

具 体规则,可以看当前专栏的博文

在我的博客《postgresql 词法/语法(scanner/parser)中flex/bison介绍》

  • scanner_finish清理

这里只对SQL和分析buffer进行了清理,对词法分析器scanner并没有清理。


结尾

作者邮箱:[email protected]
如有错误或者疏漏欢迎指出,互相学习。

注:未经同意,不得转载!

你可能感兴趣的:(postgresql,#,postgresql,数据库,sql,数据库架构,database)