Apache ShardingSphere 5.1.2 发布｜全新驱动 API + 云原生部署，打造高性能数据网关

在 Apache ShardingSphere 5.1.1 发布后，ShardingSphere 合并了来自全球的团队或个人的累计 1028 个 PR，为大家带来 5.1.2 新版本。该版本在功能、性能、测试、文档、示例等方面均有不少优化。

值得一提的是，本次更新带来了以下全新功能：

• ShardingSphere-Proxy Helm Chart

• SQL 方言翻译

• 以 Driver 形式使用 ShardingSphere-JDBC

这些全新的能力让 ShardingSphere 的数据网关能力得到了质的提升，助力 ShardingSphere 在云上部署，优化用户体验。

除了上述新功能，本次更新大量提升了 SQL 解析支持度，内核、运行模式、弹性伸缩都完善了对 PostgreSQL / openGauss schema 的支持，弹性伸缩、事务、DistSQL 在健壮性与用户体验方面也有不少提升。

本篇将给大家介绍 ShardingSphere 5.1.2 版本更新内容。

新功能介绍

• 使用 Helm 部署 ShardingSphere-Proxy

ShardingSphere-Proxy 提供了 Docker 镜像以便于用户容器化部署。不过，对于需要在 Kubernetes 部署 ShardingSphere-Proxy 的用户，还需要自行处理数据库驱动挂载、配置挂载、自定义算法挂载等必要步骤，部署过程相对繁琐，运维成本相对较高。

ShardingSphere 本次更新带来了全新的 ShardingSphere-Proxy Helm Chart。这项新功能由企业级、云原生数据增强计算产品及解决方案提供商 SphereEx 向 Apache ShardingSphere 社区捐赠，推动 Apache ShardingSphere 在云原生方向前进。

ShardingSphere 在集群模式下依赖注册中心存储元数据，ShardingSphere-Proxy 的 Helm Chart 能够自动部署 ZooKeeper 集群，帮助用户快速搭建 ShardingSphere-Proxy 集群。

受限于开源协议，ShardingSphere-Proxy 的二进制发布包、Docker 镜像受限于开源协议，无法打包 MySQL JDBC 驱动，用户需要手动添加 MySQL JDBC 驱动到 classpath 才能使用 MySQL 作为 ShardingSphere 的存储节点。对于这类情况，ShardingSphere-Proxy Helm Chart 能够在 Pod 的 Init 容器自动获取 MySQL JDBC 驱动，降低了用户的部署操作成本。

• 全新 SQL 方言翻译能力

随着数据库碎片化趋势的不可逆转，多种类型数据库的共存已渐成常态。使用一种 SQL 方言访问异构数据库的场景在不断增加。

多样化的数据库的存在，使访问数据库的 SQL 方言难于标准化，工程师需要针对不同种类的数据库使用不同的方言，缺乏统一化的查询平台。

将不同类型的数据库方言自动翻译为后端数据库所使用的方言，让工程师可以使用任意一种数据库方言访问所有的后端异构数据库，可以极大地降低开发和维护成本。

Apache ShardingSphere 5.1.2 在打造极具生产力的数据网关的路途中迈出了重要的一步。本次更新带来了全新的 SQL 方言翻译能力，能够支持主流开源数据库之间的方言转换。例如，用户可以使用 MySQL 客户端连接 ShardingSphere-Proxy 并发送基于 MySQL 方言的 SQL，ShardingSphere 能自动识别用户协议与存储节点类型，自动完成 SQL 方言转换，访问 PostgreSQL 等异构存储节点，反之亦然。

• 以 Driver 的形式使用 ShardingSphere-JDBC

在过去的 ShardingSphere 版本中，ShardingSphere-JDBC 以 DataSource 的形式向用户提供服务。对于不使用 DataSource 的项目或工具，需要进行改造才能引入 ShardingSphere-JDBC，增加了用户的使用成本。

在 Apache ShardingSphere 5.1.2 中，ShardingSphere-JDBC 实现了标准的 JDBC Driver 接口，用户可以通过 Driver 的形式引入 ShardingSphere-JDBC。

用户可以直接通过 DriverManager 获取 Connection：

Class.forName("org.apache.shardingsphere.driver.ShardingSphereDriver");
Connection conn = DriverManager.getConnection("jdbc:shardingsphere:classpath:config.yaml");

也可以使用 DataSource 获取 Connection：

// 以 HikariCP 为例
HikariDataSource dataSource = new HikariDataSource();
dataSource.setDriverClassName("org.apache.shardingsphere.driver.ShardingSphereDriver");
dataSource.setJdbcUrl("jdbc:shardingsphere:classpath:config.yaml");
Connection conn = dataSource.getConnection();

对已有能力的提升

内核

本次更新，ShardingSphere 合并了大量提升 SQL 解析支持度的 PR，在更新日志中可见 SQL 解析的优化项占了较大篇幅。

ShardingSphere 在 5.1.1 对 PostgreSQL / openGauss 的 schema 提供了初步支持，在本次 5.1.2 更新，内核、集群模式、弹性伸缩对 PostgreSQL / openGauss 的 schema 的支持度也有所提升，例如元数据对增加了对 schema 结构的支持，内核、弹性伸缩支持自定义 schema。

ShardingSphere-Proxy

随着使用 ARM 架构 CPU 的服务器市场渐成气候，ShardingSphere-Proxy 在 Docker 方面也提供了适用于 arm64 架构的镜像。

在 MySQL 方面，ShardingSphere-Proxy 修复了无法接收长度超过 8 MB 数据包的问题，并支持接收总长度超过 16 MB 的数据。

弹性伸缩

弹性伸缩在除了支持 PostgreSQL 自定义 schema 外，也实现了迁移 PostgreSQL 时自动建表的功能，并修复了 PostgreSQL 增量迁移遇到 null 字段值会报错的问题。除功能方面，弹性伸缩还减少了迁移过程中的资源占用，以及对 openGauss 3.0 增量迁移提供了支持。

欢迎大家使用或升级 ShardingSphere 5.1.2，ShardingSphere 社区期待您的反馈！

更新日志

以下为 ShardingSphere 5.1.2 的全部更新日志。需要注意的是，本次更新调整了少量 API，调整项请参考本文更新日志的 API 调整部分。

新特性

• 内核：支持 MySQL 和 PostgreSQL 的 SQL 方言转换的 alpha 版本

• 内核：支持 PostgreSQL 和 openGauss 自定义 schema

• 内核：支持 PostgreSQL 和 openGauss create/alter/drop view 语句

• 内核：支持 openGauss cursor 语句

• 内核：支持使用自定义系统库

• 内核：支持获取 openGauss 和 MySQL 的创建表语句

• 内核：支持获取 PostgreSQL 的创建表语句

• 接入端：正式支持使用 Helm 在 Kubernetes 中快速部署一个包含 ZooKeeper 集群的 ShardingSphere-Proxy 集群

• 接入端：支持 ShardingSphere JDBC Driver

• 弹性伸缩：支持 PostgreSQL 自动建表

• 弹性伸缩：支持 PostgreSQL 和 openGauss 自定义 schema 的表迁移

• 弹性伸缩：支持字符串主键表迁移

• 运行模式：治理中心支持 PG/openGauss 三级结构

• 运行模式：治理中心支持 Database 级别的分布式锁

优化

• 内核：支持 PostgreSQL 和 openGauss copy 语句

• 内核：支持 PostgreSQL 的 alter/ drop index 语句

• 内核：支持 MySQL update force index 语句

• 内核：支持 openGauss create/alter/drop schema 语句

• 内核：优化 RoundRobinReplicaLoadBalanceAlgorithm 和 RoundRobinTrafficLoadBalanceAlgorithm 算法逻辑

• 内核：优化在前端驱动数据库类型和后端不一致时元数据加载逻辑

• 内核：重构元数据加载逻辑

• 内核：show processlist 语句功能性能优化

• 内核：提升大量表场景下的加载性能

• 内核：支持 comment 语句的执行

• 内核：支持 PostgreSQL 和 openGauss 分片场景下的 view 语句的执行

• 内核：支持 ORACLE 的 CREATE ROLLBACK SEGMENT 语句

• 内核：支持解析 openGauss DROP TYPE

• 内核：支持解析 openGauss ALTER TYPE

• 内核：支持解析 Oracle DROP DISKGROUP

• 内核：支持解析 Oracle CREATE DISKGROUP

• 内核：支持解析 Oracle DROP FLASHBACK ARCHIVE

• 内核：支持解析 openGauss CHECKPOINT

• 内核：支持解析 Oracle CREATE FLASHBACK ARCHIVE

• 内核：支持解析 PostgreSQL Close

• 内核：支持解析 openGauss DROP CAST

• 内核：支持解析 openGauss CREATE CAST

• 内核：支持解析 Oracle CREATE CONTROL FILE

• 内核：支持解析 openGauss DROP DIRECTORY

• 内核：支持解析 openGauss ALTER DIRECTORY

• 内核：支持解析 openGauss CREATE DIRECTORY

• 内核：支持解析 PostgreSQL Checkpoint

• 内核：支持解析 openGauss DROP SYNONYM

• 内核：支持解析 openGauss CREATE SYNONYM

• 内核：支持解析 openGauss ALTER SYNONYM

• 内核：支持解析 PostgreSQL CALL Statement

• 内核：支持解析 Oracle CREATE PFILE

• 内核：支持解析 Oracle CREATE SPFILE

• 内核：支持解析 Oracle ALTER SEQUENCE

• 内核：支持解析 Oracle CREATE CONTEXT

• 内核：支持解析 Oracle ALTER PACKAGE

• 内核：支持解析 Oracle CREATE SEQUENCE

• 内核：支持解析 Oracle ALTER ATTRIBUTE DIMENSION

• 内核：支持解析 Oracle ALTER ANALYTIC VIEW

• 内核：使用 ShardingSphere Spi 加载 SQLVisitorFacade

• 内核：使用 ShardingSphere Spi 加载 DatabaseTypedSQLParserFacade

• 内核：支持解析 Oracle ALTER OUTLINE

• 内核：支持解析 Oracle DROP OUTLINE

• 内核：支持解析 Oracle drop edition

• 内核：支持解析 SQLServer WITH Common Table Expression

• 内核：优化 SubquerySegment 在 with 语句中的开始和结束索引

• 内核：重构 JoinTableSegment

• 内核：支持解析 Oracle DROP SYNONYM

• 内核：支持解析 Oracle CREATE DIRECTORY

• 内核：支持解析 Oracle CREATE SYNONYM

• 内核：支持解析 SQLServer XmlNamespaces Clause

• 内核：支持解析 Oracle Alter Database Dictionary

• 内核：支持解析 SQLServer Clause of SELECT Statement

• 内核：支持解析 Oracle ALTER DATABASE LINK

• 内核：支持解析 Oracle CREATE EDITION

• 内核：支持解析 Oracle ALTER TRIGGER

• 内核：支持解析 SQLServer REVERT Statement

• 内核：支持解析 PostgreSQL DROP TEXT SEARCH

• 内核：支持解析 PostgreSQL drop server

• 内核：支持解析 Oracle ALTER VIEW

• 内核：支持解析 PostgreSQL drop access method

• 内核：支持解析 PostgreSQL DROP ROUTINE

• 内核：支持解析 SQLServer DROP USER

• 内核：支持解析 Oracle DROP TRIGGER

• 内核：支持解析 PostgreSQL Drop subscription

• 内核：支持解析 PostgreSQL drop operator class

• 内核：支持解析 PostgreSQL DROP PUBLICATION

• 内核：支持解析 Oracle DROP VIEW

• 内核：支持解析 PostgreSQL DROP TRIGGER

• 内核：支持解析 Oracle DROP DIRECTORY

• 内核：支持解析 PostgreSQL DROP STATISTICS

• 内核：支持解析 PostgreSQL drop type

• 内核：支持解析 PostgreSQL DROP RULE

• 内核：支持解析 SQLServer ALTER LOGIN

• 内核：支持解析 PostgreSQL DROP FOREIGN DATA WRAPPER

• 内核：支持解析 PostgreSQL DROP EVENT TRIGGER statement

• 接入端：ShardingSphere-Proxy MySQL 支持接收长度超过 16 MB 的请求数据包

• 接入端：ShardingSphere-Proxy 增加 SO_BACKLOG 配置项

• 接入端：ShardingSphere-Proxy 默认启用 SO_REUSEADDR

• 接入端：ShardingSphere-Proxy Docker image 增加 aarch64 支持

• 接入端：ShardingSphere-Proxy MySQL 支持配置默认 MySQL 版本号

• 接入端：ShardingSphere-Proxy PostgreSQL / openGauss 支持更多字符集

• 接入端：ShardingSphere-Proxy 增加默认端口配置项

• 弹性伸缩：openGauss 3.0 启用 thread_pool 时，Scaling 兼容 HA port 进行数据同步

• 弹性伸缩：优化 PipelineJobExecutor 中 Zookeeper 事件处理的逻辑，避免 zk 阻塞事件

• 弹性伸缩：Scaling 数据同步不区分表名大小写

• 弹性伸缩：改进 PostgreSQL/openGauss 复制槽清理

• 弹性伸缩：改进准备阶段锁保护

• 弹性伸缩：改进 PostgreSQL 同一记录删除后重建场景下的数据同步

• 弹性伸缩：Scaling 创建的数据源在底层不缓存

• 弹性伸缩：尽量复用数据源，减少数据库连接占用

• DistSQL：REFRESH TABLE METADATA 支持指定 PostgreSQL’s schema

• DistSQL：ALTER SHARDING TABLE RULE 时增加对绑定表的校验

• 运行模式：ShardingSphere-JDBC 支持配置数据库连接名

• 分布式事务：事务中禁止执行 DistSQL

• 分布式事务：autocommit = 0, DDL 部分 DML 会自动开启事务

问题修复

• 内核：修复 PostgreSQL 和 openGauss show 语句解析异常
• 内核：修复 PostgreSQL 和 openGauss time extract function 解析异常
• 内核：修复 PostgreSQL 和 openGauss select mod fucntion 解析异常
• 内核：修复读写分离场景下多 schema join 语句的执行异常
• 内核：修复加密场景下执行 create schema 语句的路由异常
• 内核：修复 drop schema if exist 语句的异常
• 内核：修复执行 LAST_INSERT_ID() 路由错误
• 内核：修复 use database 在无数据源状态下执行异常的问题
• 内核：修复带有 set var 的 fucntion 创建语句
• 接入端：修复 ShardingSphere-Proxy PostgreSQL / openGauss Describe PreparedStatement 因字段大小写不匹配导致的空指针
• 接入端：修复 ShardingSphere-Proxy PostgreSQL / openGauss 执行 schema DDL 后没有返回正确 tag 的问题
• 弹性伸缩：修复 MySQL unsigned 类型在 Scaling 过程中出错
• 弹性伸缩：修复一致性检查创建数据源失败时产生连接泄漏的问题
• 弹性伸缩：修复 ShardingSphereDataSource 初始化忽略分片以外规则的问题
• 弹性伸缩：支持 job 在准备阶段被关闭
• 弹性伸缩：修复数据源 url 和 jdbcurl 兼容性问题
• 弹性伸缩：修复 openGauss 数据复制槽创建时机问题，避免可能的增量数据丢失
• 弹性伸缩：改进 job 状态持久化，确保特殊情况下不会被覆盖为老状态
• 弹性伸缩：修复 PostgreSQL 使用 TestDecoder 进行增量迁移时无法正确解析 null
• DistSQL：修复单机和内存模式下，SET VARIABLE 修改不生效的问题
• DistSQL：修复 SHOW INSTANCE LIST 与实际数据不一致的问题
• DistSQL：修复分片规则大小写敏感的问题
• 运行模式：修复 Scaling 功能更改分表规则后新版本元数据丢失数据
• 分布式事务：修复根据 catalog 获取 indexinfo 为空问题

重构

• 弹性伸缩：重构 jobConfig，方便新类型 job 复用及扩展
• 运行模式：优化注册中心计算节点存储结构
• 运行模式：使用 uuid 替代 ip@port 作为实例唯一标识

API 调整

• DistSQL：EXPORT SCHEMA CONFIG 调整为 EXPORT DATABASE CONFIG
• DistSQL：IMPORT SCHEMA CONFIG 调整为 IMPORT DATABASE CONFIG
• 运行模式：调整 db-discovery 算法配置
• DistSQL：SHOW SCHEMA RESOURCES 调整为 SHOW DATABASE RESOURCES
• DistSQL：COUNT SCHEMA RULES 调整为 COUNT DATABASE RULES
• 权限：权限提供者 ALL_PRIVILEGES_PERMITTED 更新为 ALL_PERMITTED
• 权限：权限提供者 SCHEMA_PRIVILEGES_PERMITTED 更新为 DATABASE_PERMITTED

相关链接

下载链接：

https://shardingsphere.apache.org/document/current/cn/downloads/

更新日志：

https://github.com/apache/shardingsphere/blob/master/RELEASE-NOTES.md

项目地址：

https://shardingsphere.apache.org/

社区建设

此次 Apache ShardingSphere 5.1.2 版本的发布，共有 54 位 Contributor 提交了 1028 个 PR，感谢社区伙伴们的大力支持。

作者
吴伟杰，SphereEx 基础设施研发工程师，Apache ShardingSphere PMC。专注于 Apache ShardingSphere 接入端及 ShardingSphere 子项目 ElasticJob 的研发。