分布式事务数据库HotDBV2.5.4版本
HotDB Server V2.5.4在新功能新特性方面有大幅提升：
Server端：在SQL语法上支持LOAD DATA相关语句、对RENAME语法不再要求需要新表配置、支持部分场景中UPDATE语句更新分片字段值；在运维管理上记录不常见SQL执行日志记录，便于排查异常问题、优化多节点集群模式下的自增序列处理逻辑，提升系统性能。
管理平台：在数据正确性方面提供数据唯一约束检测功能，同时增加主备一致性表维度检测；在运维管理方面新增管理员端的多套集群监控大屏、计算节点服务异常告警、SQL优化建议等功能；在数据安全方面提供XA模式下的任意时间点数据恢复、支持非root用户使用sudo功能进行高权限操作、邮箱设置支持免校验登录等。
Management新功能介绍
- 管理员首页
- 功能背景：
管理员用户目前无法以全局视角查看所管理的计算节点集群的业务数据、流量数据、集群状态、集群配置等信息。为了方便管理员用户及时掌握集群动态，管理平台提供管理员首页大屏展示功能。 - 功能说明：
1.管理员首页支持查看所有正常开启监控的计算节点集群，可通过顶部tab栏进行切换展示；
2.首页分为基础数据、统计数据、峰值数据、运行数据、配置数据五个模块；
3.配置数据模块主要展示管理平台、计算节点、存储节点部分重点参数的设置情况。
SQL优化建议
-
功能背景：
当前操作日志智能分析页面存在诸多冗余信息，故此次对该页面的易用性进行了优化，同时提供了针对SQL查询语句、表结构、表索引的优化建议，向智能自治迈出第一步 -
功能说明：
合并计算节点和存储节点「执行次数」与「耗时分布」；增加「存储节点执行时间占比」；隐藏并优化搜索筛选功能；
根据管理平台内部算法，检查SQL语句结构、执行时间、执行计划等，筛选出不合理的SQL语句，并给出优化建议。
1.子查询嵌套超过三层，建议根据业务需要改写SQL； -
使用union或union all对同一张表查询超过三次的，建议合理使用case when 等条件判断减少union次数；
3.建议根据业务需要使用union all 而非union； -
当前查询的表为水平分片表，建议where后面的条件都使用分片字段；
5.此条查询为跨库JOIN查询，建议关联字段为分片字段。
-
功能说明：
-
对于计算节点或存储节点平均执行时间，当昨日00：00 ~ 24：00内平均执行时间高于历史平均执行时间的两倍，显示预警提示 ；
2.提供SQL性能追踪功能，可视化的显示执行一条SQL语句的执行剖析（HotDB Profiles）；
3.输入SQL查询语句，一次可输入最多三条，点击【执行】查看性能追踪对比结果； -
执行剖析将显示每一个步骤的相对时间点和耗时（us为单位）；
-
点击【查看执行时间图解】查看执行剖析可视化结果。
-
功能说明：
通过检测表结构以及与表相关的SQL语句的执行计划、执行时间等，在「表结构与表索引检测」页面提供表结构或表索引的优化建议；
表状态更新为正常、表结构定义异常、表索引定义异常、表结构未定义、表索引未定义；
表结构详情页面增加「索引详情」；
表索引和表结构优化建议列举如下（更多建议参考《分布式事务数据库HotDB Server【管理平台】功能使用手册》）：
1.字段名，此分片字段基数较高，基数除以总行数大于0.1，建议为此字段添加索引； -
索引名（字段名，字段名），此组合索引存在两个字段基数相差10倍以上，建议交换顺序，将基数低的字段放在后面，例如修改为索引名（字段名，字段名）；
3.索引名（字段名），此索引检测时未被使用，建议检查后优化此索引； -
索引名（字段名），此索引字段基数小于100或基数除以行数小于0.001，建议创建其它高效的索引或组合索引替代；
5.索引名（字段名），此索引字节长度大于256字节且字段前缀就能达到较理想的选择性，建议修改索引，取合理长度前缀，例如修改为(此字段的合理长度前缀)。
6.字段名，此字段不存在 NULL 数据，建议修改为 NOT NULL。
7.字段名，此字符串字段可能为状态标志位字段，建议修改为 enum\set 类 型。
- 数据唯一约束检测
-
功能背景：
HotDB Server V2.5.3管理端口已支持使用“check @@history_unique”命令对集群中已开启唯一约束的表的历史数据进行检测。可及时发现已开启唯一约束的列是否存在数据重复的问题。 -
功能说明：
1.支持对水平分片表与子表发起数据唯一约束检测；
2.检测结果“异常”的记录可通过【检测详情】，查看数据异常信息；
3.检测结果“正常”的记录不提供【检测详情】入口。
-
功能说明：
1.检测记录详情展示检测任务中所有表的检测结果情况，默认展示数据异常表的信息； -
“唯一键”列展示的是检测表中设置的所有具有唯一约束的列字段名称；
-
“检测详情”为检测结果异常表的数据重复展示，检测结果正常的表该列为空显示。若该列显示的内容超过2048字节，则详细信息需要点击右侧【下载】按钮下载查看；
4.检测记录详情支持导出功能，但仅限检
5.测结果为“异常”的信息记录；
6.点击右侧【查看表信息】按钮，可查看检测表的更多信息，例如：分片方式、分片字段、所属节点、建表语句等。
- 非root用户支持sudo
-
功能背景：
管理平台较多功能都依赖于配置的服务器SSH信息，且都要求为root账户。但金融行业用户大多对服务器root账户较为敏感，且存在定期修改root密码的情况。为解决上述问题，管理平台支持为服务器配置拥有sudo权限的非root账户。 -
功能说明：
-
管理平台所有需配置服务器SSH信息的地方均支持使用非root用户进行配置；
2.目前服务器SSH信息仅支持配置root账户或拥有sudo功能的非root账户；
3.若需要使用非root账户，需要用户提前将该用户的sudo功能配置为可用。
- 计算节点服务异常提醒
-
功能背景：
当前管理平台只对计算节点的服务程序即管理端口是否存活进行监控，对服务端口是否可以正常连接暂无监控。如服务端口出现连接响应异常时，则无法起到帮助用户排查问题的作用。为此，管理平台新增对计算节点服务端口状态的监控，连接响应异常时可通过站内提醒或邮件通知的方式告知用户。 -
功能说明：
-
管理平台默认300秒（可设置）检测一次计算节点管理端口与服务端口状态；
2.检测逻辑：使用计算节点连接用户登录对应端口且成功执行SQL语句；
3.通知方式：站内提醒（事件通知），详细可在历史事件中查看；邮件通知（需要配置通知策略并勾选“计算节点服务故障”监控项）。
- 计算节点服务器监控优化
-
功能背景：
目前计算节点服务器资源监控与集群其他服务器的监控使用脚本不同，统一了监控脚本以减少后期维护成本，管理平台在统一检测脚本的同时也对计算节点服务器资源监控功能进行了优化。 -
功能说明：
1.计算节点服务器资源与其他服务器资源页面展示的监控数据统一从监控脚本“hotdb_server_monitor_v0.13.sh”中获取（默认存放在计算节点安装路径bin/目录下）；
2.计算节点服务器资源CPU监控增加：监控对象与监控视角的设置；
3.计算节点服务器资源CPU负载监控增加：5分钟与15分钟平均负载数据展示；
4.计算节点服务器与其他服务器CPU展示中新增该服务器的总CPU物理核数与总CPU线程数。
- 主备一致性检测增加表维度
功能背景：
主备一致性检测功能之前只支持逻辑库与存储节点两个维度。为满足用户对主备数据一致性检测的颗粒度细化，管理平台增加表维度的主备数据一致性检测功能。
- 功能说明：
1.支持对多个逻辑库下的多张表同时发起检测； - 通过表维度发起的的检测，检测结果的展示与逻辑库维度一致。
- 邮箱设置优化
-
功能背景：
为规范管理平台邮箱配置，满足用户在不同的业务场景下使用邮件报警功能。管理平台对邮箱通知设置功能进行系列优化。 -
功能说明：
1.支持免SMTP验证访问邮件服务器，即允许空账户登录邮箱服务器； -
放开邮箱地址的格式校验，由邮箱服务器验证填写信息的正确性；
3.支持对已配置的邮箱进行邮件发送测试。
- 备份可恢复到自定义时间点
-
功能背景：
备份可恢复到自定义时间点，可以增加数据恢复的灵活性以及提升灾难恢复的恢复点目标(RPO)。 -
功能说明：
1.勾选「恢复到自定义时间点」后，通过时间选择器，选择可恢复时间范围内的任意时间点（可恢复时间范围指当前逻辑库备份成功且未被清理的最早时间点到最晚时间点）；
2.选择可恢复时间范围内的时间只对应一份完整备份时，只能恢复至完整备份时的时间，无法恢复到自定义时间点； -
非XA集群，自定义时间点恢复时，不保证数据一致。可能存在半个事务的现象，并且恢复终点是各个节点的本地时间而不是计算节点的时间。建议只在开启XA事务的集群使用此功能；
-
选择自定义时间后，将自动填充使用的完整备份与增量备份。点击【开始恢复】即可恢复到自定义时间点。
- 其他功能优化
- 支持FILE权限：
为支持HotDB Server兼容“LOAD DATA”等相关SQL语句，数据库用户新增FILE权限。
- 只有拥有FILE权限的用户才能执行“LOAD DATA”、“SELECT INTO…OUTFILE”等相关SQL语句；
- 暂不支持指定文件的存放位置，默认存放在计算节点安装路径的HotDB-TEMP/目录下；
3.FILE权限为全局权限，与逻辑库和表权限无关。
- 版本升级兼容NDB服务：
1.支持对已安装NDB服务的计算节点进行版本升级，升级完成后NDB版本与状态与之前保持一致； - 目前暂不支持对NDB本身版本进行升级；
- 引用历史分片方式时页面提示：
1.若表信息页面检测到存在表引用历史分片方式：AUTO、HASH、HASH23（在V2.4.6版本后弃用），表信息页面、表添加、表编辑页面将显示注意事项；
2.注意事项主要为：引用历史分片方式的表在使用字符串类型字段作为分片字段时，需要注意大小写敏感问题，尽量保证SQL中分片字段大小写与数据存入时一致；此外在新增或编辑表时若存在引用历史分片方式的表，则需要评估当前表与引用历史分片规则表是否存在跨库JOIN风险；
3.对已存在引用历史分片方式的表，建议使用在线修改分片规则功能将表数据迁移，并重新引用新的分片规则；
4.计算节点版本小于V2.5.1时，可考虑使用管理端命令的方式进行分片规则修改。
- 备份功能优化：
1.优化背景：HotDB Backup在做数据备份时会将SQL进行拼接，且默认将250行数据拼接为一条insert语句。该方式存在当每行数据量过大时，可能会导致单个SQL拼接的结果超过MySQL参数max_allowed_packet最大值1G的限制，从而导致MySQL恢复时报错；
2.优化方案：根据每行数据量大小去做数据拼接，保证每条拼接的SQL数据量大小不超过max_allowed_packet最大值；
3.建议：若集群中使用的备份程序小于“hotdb-backup-3.0-20190916”版本，建议替换成最新版本包。避免出现上述问题。
- 菜单权限控制优化：
- 导航栏菜单权限控制：管理角色用户可在admin端对普通用户的导航栏菜单权限进行控制。目前支持对“动态加载”、“事件通知显示设置”、“用户密码修改”、“高危操作验证开关”菜单权限进行控制；
2.默认值：所有普通用户默认拥有导航栏中的所有菜单入口权限，如需要调整需管理角色用户进行手动编辑对应普通用户菜单权限；
3.取消授权：被取消导航栏菜单入口权限的用户，进入普通用户视角页面时，对应菜单入口按钮会被隐藏。正在登录的普通用户，如果菜单权限被修改，则会触发session失效，用户需要重新登录才能继续操作。
Server新功能讲解
- 支持LOAD DATA等SQL语句
- 功能背景：
当前计算节点在数据导入方面存在部分功能无法兼容，因此现需支持CREATE TABLE … SELECT …, SELECT INTO … OUTFILE … 以及LOAD DATA语法 。 - 功能说明：
CREATE TABLE … SELECT … 语法 - 要求存储节点用户拥有CREATE TEMPORARY TABLE权限（否则无法通过配置校验）
- 要求CREATE的表和SELECT的表关联相同的数据节点
3.不支持CREATE TABLE … IGNORE SELECT 和 CREATE TABLE … REPLACE SELECT
mysql> create table table01(id int not null auto_increment primary key) select c1,c2 from table02;
SELECT INTO … OUTFILE … 语法 - 要求执行语句的用户拥有FILE权限（数据库用户权限增加FILE权限）
2.当计算节点为集群模式时，无论在集群中哪台服务器上执行此语法，输出文件都将保存在当前主计算节点服务器上的固定路径：/usr/local/hotdb/hotdb-server/HotDB-TEMP - 若输出时集群发生切换，仍能保证数据输出正常
mysql> select * from table1 a right join table2 b on a.a=b.a join table3 c on a.a=c.a order by a.id desc,b.e desc,a.a asc into outfile ‘outfile5.txt’ fields terminated by ‘,’ optionally enclosed by ‘"’ lines terminated by ‘\n’; - 功能说明：
LOAD DATA 语法
要求执行语句的用户拥有FILE权限（数据库用户权限增加FILE权限）
当计算节点为集群模式时，无论在集群中哪台服务器上执行此语法，导入文件都必须上传至当前主计算节点服务器上的固定路径：/usr/local/hotdb/hotdb-server/HotDB-TEMP
mysql> load data infile ‘outfile5.txt’ into table table4 fields terminated by ‘,’ optionally enclosed by ‘"’ lines terminated by ‘\n’;
LOAD DATA
[LOW_PRIORITY | CONCURRENT] [LOCAL]
INFILE 'file_name’
[REPLACE | IGNORE]
INTO TABLE tbl_name
[PARTITION (partition_name [, partition_name] …)]
[CHARACTER SET charset_name]
[{FIELDS | COLUMNS}
[TERMINATED BY 'string’]
[[OPTIONALLY] ENCLOSED BY 'char’]
[ESCAPED BY 'char’] ]
[LINES
[STARTING BY 'string’]
[TERMINATED BY 'string’] ]
[IGNORE number {LINES | ROWS}]
[(col_name_or_user_var [, col_name_or_user_var] …)]
[SET col_name={expr | DEFAULT}, [, col_name={expr | DEFAULT}] …]
斜体部分表示不支持语法
- 优化RENAME语法
-
功能背景：
支持使用RENAME时目标表无需提前进行配置即可重命名成功 ，从而提高了RENAME语法的易用性。 -
功能说明：
RENAME中的目标表不需要提前添加表配置，执行RENAME语句将自动为目标表创建表配置
mysql> rename table table01 to table02;
1.若手动添加目标表的表配置，需要保证目标表表配置与原表一致，否则执行失败
mysql> rename table table01 to table02;
ERROR 10114 (HY000): table:table02 is using a different configuration -
支持RENAME多张表，但要求这些表都在相同节点，否则执行失败
mysql> rename table table01 to table02, table03 to table04, table05 to table06;
ERROR 10042 (HY000): unsupported to rename multi table with different datanodes -
逻辑库用户需要对旧表拥有ALTER和DROP权限，以及对新表拥有CREATE和 INSERT权限
mysql> rename table table01 to table02;
ERROR 1045 (HY000): [CREATE, INSERT] command denied to user ‘user01’ to logic database 'DB10’
ERROR 1045 (HY000): [ALTER, DROP] command denied to user ‘user01’ to logic database ‘DB10’
优化UPDATE语句 -
功能背景：
当前UPDATE语法不允许更新分片字段，为了更好的满足计算节点对SQL的兼容性，当分片字段更新后的值不会影响当前数据路由时支持更新分片字段 -
功能说明：
-
允许更新分片字段，但仅允许在不变更分片字段值对应路由节点，即修改后的分片字段值与修改前的值路由到相同节点，否则执行不成功
update table01 set id=5 where id =2;
根据分片规则，若id=5和id=2都路由的同一个节点，则执行成功：Query OK, 1 row affected (0.02 sec)
否则执行失败：ERROR 10217 (HY000): update sharding column’s value can’t change dn.
2.父子表不允许使用表达式语法更新父子表的关联字段，即使不变更关联字段值对应的路由节点
update table01 set id=id+1 where id =2;
ERROR 10010 (HY001): unsupported set expression
3.不支持一条语句中多次更新分片字段
update table01 set id =3,id=4 where id =1;
ERROR 10204 (HY000): sharding column’s value cannot be changed.
- SQL报错日志记录
-
功能背景：
计算节点执行部分SQL报错后，将会记录计算节点日志以便未来排查问题 。 -
功能说明：
-
主键\唯一键冲突或外键约束不满足导致的ERROR信息（即MySQL错误码1062、1216、1217、1451、1452、1557、1761、1762、3008）
-
SQL过长导致SQL语句被截取的WARNING信息
-
数据溢出（即MySQL错误码1264、1690、3155、3669）和数据类型转换或隐式转换导致数据截断（即MySQL错误码1265、1292、1366）的情况
4.涉及binlog不安全语句（即MySQL错误码1418、1592、1663、1668、1669、1671、1673、1674、1675、1693、1714、1715、1716、1719、1722、1724、1727、1785、3006、3199、3570、3571、MY-010908、MY-013098）
5.对分片字段不是自增字段的分片表做INSERT操作时，由外部指定自增值的INSERT数的情况
6.UPDATE语句中出现MATCH和AFFECT不相符的情况
7.DELETE出现删除0行的情况 -
UPDATE或DELETE AFFECT超过10000行的情况
-
在HINT语句中使用了INSERT、UPDATE、DELETE和DDL语句的情况
（关于MySQL错误码可参考官方文档：
：https://dev.mysql.com/doc/refman/8.0/en/server-error-reference.html）
注：更多报错信息参考标准功能说明文档
- 全局AUTO_INCREMENT优化
-
功能背景：
增加全局自增仅唯一模式， 优化在计算节点集群模式下的自增序列处理逻辑以提升性能 。开启该模式后，在计算节点集群模式下，可保证自增序列属性的数据由计算节点生成唯一值，自增列不保证其单调递增，只保证长时间范围看是大致正向增长。 -
功能说明：
1.在2.5.4及以上版本，当参数autoIncrement设置为1时，则由计算节点接管所有表的自增，可以保证全局自增；设置为0的时候， 自增字段在存储节点MySQL内维护，不保证全局自增；增加设置模式为2时，由计算节点智能控制自增特性（可参考后续章节）。 -
在2.5.3及以下版本，参数autoIncrement只能设置为true或false。设置为true等同于设置为1；设置为false等同于设置为0。
3.在2.5.4及以上版本，若将参数设置为1，自增字段类型建议为int或bigint，否则提示警告：
mysql> create table table02(id tinyint auto_increment primary key);
Warning (Code 10212): auto_increment column must be bigint or int
-
功能说明：
-
若将参数设置为2，当计算节点模式为集群模式且表中包含自增序列时，计算节点会分配给每个计算节点一个批次大小作为它的自增序列范围。 保证全局唯一且长时间范围看是大致正向增长。
-
若将参数设置为2，自增字段类型必须为bigint，否则建表失败：
ERROR 10212 (HY000): auto_increment column must be bigint
3.若计算节点模式为高可用或单节点模式，则设置为2与设置为1的结果相同
-
功能说明:
若现有Primary计算节点A，Secondary计算节点B和Secondary计算节点C，设置批次大小（prefetchBatchInit）初始值为100，则计算节点A的自增序列预取区间为[1,100]，计算节点B的预取区间为[101,200]以及计算节点C的预取区间为[201,300]
mysql> create table test(id int auto_increment primary key,num int);
在计算节点A上执行：
mysql> insert into test values(null,1),(null,2);
mysql> select * from test order by id;
±—±---+
|id |num|
±–±----+
| 1 | 1 |
| 2 | 2 |
±—±---+ //自增序列预取范围为[1,100]
在计算节点B上执行：
mysql> insert into test values(null,1),(null,2);
mysql> select * from test order by id;
±-----±------+
| id | num |
±-----±------+
| 1 | 1 |
| 2 | 2 |
| 101 | 1 |
| 102 | 2 |
±-----±-------+ //自增序列预取范围为[101,200] -
功能说明：
1.若当前批次使用率达到隐藏参数generatePrefetchCostRatio配置的已消耗比例，则开始预取下一批次，且重新计算下一批次大小，由此来调整合适当前业务环境的批次大小。
例如若已消耗比例为90%，当前批次大小为100，现自增值已经达到90，达到配置的已消耗比例，则此时开始预取下一批次。
- 从取到批次时间开始计算，若已经到达超时废弃时间prefetchValidTimeout，则根据当前批次使用率判断是否预取下一批次 。
例如设置已消耗比例为90%，当前批次大小为100，现自增值已经达到80，此时达到超时时间且当前批次使用率达到配置的已消耗比例的50%，则开始预取下一批次
3.允许用户插入指定自增值，无论自增值的大小是否大于批次大小，都能保证自增值的全局有序递增。
例如当前批次大小为100，插入小于批次大小的自增值：
在计算节点A上执行
mysql> insert into test values(null,1);
mysql> insert into test values (11,5);
mysql> insert into test values(null,1);
mysql> select * from test order by id;
±--------±-------+
| id | num |
±--------±-------+
| 1 | 1 |
| 11 | 5 |
| 12 | 1 |
±--------±-------+
在计算节点B上执行
mysql> insert into test values(null,1);
±—±-----------+
| id | num |
±—±------------+
| 1 | 1 |
| 11 | 5 |
| 12 | 1 |
| 101 | 1 |
±—±------------+
- 网络质量感知
- 功能背景：
计算节点定时检测网络质量并将结果写入配置库，以方便用户排查问题。 - 功能说明：
1.pingPeriod配置网络质量检测周期
- 默认每一个小时ping一轮所有的与主计算节点关联的服务器的IP地址，例如备计算节点服务器、配置库服务器、存储节点服务器等。
- 可配置最低300秒（即5分钟）触发一轮检测。
- 若检测周期内没有完成上一轮检查，则这一轮检查直接放弃。
- pingLogCleanPeriod控制ping检查时存储到计算节点配置库hotdb_ping_log中的数据清理周期，每日定时删除指定时间以前的数据
- pingLogCleanPeriodUnit 控制参数 pingLogCleanPeriod的单位，0:小时，1:天，2:月
特殊说明
- 管理平台支持英文版
-
功能背景：
为支持海外客户产品使用需求，同时开拓产品海外市场。HotDB Server以及配套的管理平台支持全英文版，同时提供全英文版的产品说明手册。 -
功能说明：
1.管理平台不区分中英文版本，由配置文件“application.properties”的language参数决定显示的语言。 -
计算节点采用中英双语的方式显示，无需区分中英文版本。
- 用户权限新增 -
权限变更：
存储节点连接用户(hotdb_datasource)要求新增create temporary tables权限
-
配置库更新说明地址：
-配置库版本升级说明请参考：ftp://192.168.220.51/版本升级说明 -
Swagger对外接口更新
对外接口信息更新：
1.将管理平台所有功能接口信息对外发布展示，且未来每个版本接口的新增或优化都会在Swagger中进行维护。
LOGO更新说明
管理平台支持对产品页面Logo信息进行更换。用户可选择将自己的Logo上传至指定目录，同时可设置是否继续显示HotDB产品标识。 -
更新Logo步骤
准备Logo
上传至管理平台服务器目录
刷新管理平台页面
1.Logo格式目前仅支持.jpg、.png，且要求上传的文件大小不超过1024KB -
Logo上传至管理平台安装logo目录下，例：/usr/local/hotdb/hotdb-management/logo
3.目前仅支持在logo目录下存放一个Logo文件，若存在多个默认随机选择
-
设置是否继续显示HotDB信息
若只上传LOGO文件，刷新管理平台后登录页面以及集群选择页面底部都将继续显示HotDB产品LOGO与产品版权声明信息。可根据需要选择是否继续显示上述信息。
设置方式：在管理平台配置文件application.properties中新增参数：hotdb.management.showLogo=1/0;设置完重启管理平台服务即可生效参数。
hotdb.management.showLogo参数设置为1代表继续显示，设置为0代表隐藏信息
