一条 SQL 的查询计划生成之旅【上】

背景

Apache Calcite 作为一款开源的动态数据管理框架，由于其模块化、可扩展、以及不和任何计算引擎绑定的特性，目前在开源项目和商业化产品中已得到广泛的应用。不仅 Apache Flink、Apache Druid、Apache Hive 等明星开源项目在使用 Calcite，腾讯天穹 Super SQL、阿里 MaxCompute、Dremio 等商业化产品的 SQL Planner 也都基于 Calcite 实现。Apache Calcite 俨然成为了 SQL Planner 层的黄金标准、事实趋势。

随着近些年大数据基础设施的不断发展成熟，SQL 已经无可争议地成为大数据计算引擎的主流语言，但与此同时，大量新兴计算引擎、数据库项目的出现，也产生了大量 SQL 方言，运维一个企业级大数据平台需要处理 SQL 的场景越来越多。学习和了解 Apache Calcite，既能帮助我们快速理解 SQL Planner 的原理机制，又能有助于我们利用 Calcite 快速解决以处理 SQL 为中心的各类日常问题（如实现一个SQL Parser、SQL Gateway、SQL Planner 等）。

我们计划从技术实战、原理讲解、源码分析等角度推出系列文章，来介绍如何利用 Apache Calcite 解决一些常见的具体问题，希望对数据平台工具研发的同学有一些帮助。本文是系列文章的第一篇，将首先介绍 Apache Calcite 的架构设计，同时以一条 SQL 在 Calcite 中的处理流程为主线，对 SQL 解析、元数据验证、执行计划生成及优化、SQL 方言转换等模块的关键原理进行阐述，让读者对 Apache Calcite 有一个初步印象。 关于各模块更深入的原理讲解和源码实战，会在后面的系列文章中分篇进行展开。

目标和收益

本文主要讲解 Apache Calcite 的架构设计以及 Calcite 内部 SQL 优化方式，阅读本文，能够从以下几点帮助到你：

• 整体了解 Apache Calcite ，包括架构设计和核心模块。
• 从一条 SQL 处理流程视角出发，通过对 Calcite SQL 解析、校验、关系代数转换、RBO 和 CBO、物化视图改写和方言转换整体流程的讲解，带你了解一条 SQL 的 Calcite 之旅。
• 了解 Calcite 物化视图改写的两种方式及各自优缺点。
• 了解 Calcite 中优化器设计的关键细节，以及如何实现对 SQL 方言的改写。

希望阅读完本篇文章后，你能够对 Calcite 整体使用流程有一个初步的认识，下面我们进入正文。

一、Apache Calcite 架构概述

1.1 Apache Calcite 诞生背景

Apache Calcite 自 2013 年 11 月首次在 Github 上进行代码仓库初始化，距今已有 9 年时间。 Apache Calcite 前身其实是 optiq。optiq 最开始则是在 Hive 项目中进行使用，其主要目的是为 Hive 提供基于成本模型的优化器。2014 年 5 月 optiq 独立出来，成为 Apache 社区的孵化项目，同