当数据量过大,在定时任务中执行分表操作
在xml中编写复制表结构及数据(newTableName
为新表名、originalTableName
为原始表名)
只复制表结构:
CREATE TABLE ${newTableName} AS SELECT * FROM ${originalTableName} WHERE 1=0;
复制表结构以及数据:
CREATE TABLE ${newTableName} AS SELECT * FROM ${originalTableName};
在使用 CREATE TABLE … AS SELECT * FROM … 语句时,添加 WHERE 1=0 和不添加的区别在于是否复制原表的数据。
WHERE 1=0
:这会将原表中的数据一同复制到新表中。新表将包含原表中所有的行数据。WHERE 1=0
:这样做不会复制任何原表中的数据,只会复制原表的结构(列定义)到新表中,但新表不会包含任何行数据。因此,如果只复制表的结构而不需要复制数据,可以在 CREATE TABLE … AS SELECT * FROM … 语句后面加上 WHERE 1=0。如果需要同时复制表的结构和数据,就不需要添加这个条件。
清空原表:使用 DELETE
或 TRUNCATE
语句清空原表中的数据。例如:
DELETE
语句逐行删除原表中的数据:DELETE FROM original_table;
TRUNCATE
语句一次性清空原表中的所有数据:TRUNCATE TABLE original_table;
注意:TRUNCATE 语句会更快地清空表中的数据,但无法回滚操作。
在执行清空原始表中的数据操作之前,请务必备份好原表中的数据,以防止数据丢失或意外删除。
定时任务类:
package com.yutu.garden.task;
import com.yutu.garden.mapper.gardens.SanitationJobStatisticsMapper;
import org.springframework.boot.autoconfigure.condition.ConditionalOnProperty;
import org.springframework.scheduling.annotation.EnableScheduling;
import org.springframework.scheduling.annotation.Scheduled;
import org.springframework.stereotype.Component;
import javax.annotation.Resource;
import java.text.SimpleDateFormat;
import java.util.Date;
/**
* 定时分区、分表
*/
@Component
@EnableScheduling
//@ConditionalOnProperty(name = "scheduled.tasks.enabled", havingValue = "true") //application.yml控制所有task任务启动或不启动
public class SplitTrajectoryTableTask {
@Resource
private SanitationJobStatisticsMapper sanitationJobStatisticsMapper;
// @Scheduled(cron = "0 0 * * * ?") //每小时的整点执行一次任务
@Scheduled(cron = "0 0/1 * * * ?") //一分钟执行一次
public void checkDataSizeAndSplitTable() {
int trajectorySize = sanitationJobStatisticsMapper.getTrajectorySize(); // 获取数据量
if (trajectorySize >= 200000) { // 判断数据量是否过大
splitTable(); // 执行分表操作
}
}
private void splitTable() {
// 获取需要分表的原始表名和新表名前缀(根据实际情况设置)
String originalTableName = "card_device_trajectory_info"; //原始表名
String newTableNamePrefix = "card_device_trajectory_info_"; //新表 (拼接日期)
// 获取当前日期作为分表后缀(或者使用其他规则)
SimpleDateFormat sdf = new SimpleDateFormat("yyyyMMdd");
String tableSuffix = sdf.format(new Date());
// 生成新表名
String newTableName = newTableNamePrefix + tableSuffix;
// 创建新的分表 并 将原始表中符合条件的数据迁移到新表(根据实际情况设置条件)
sanitationJobStatisticsMapper.copyTable(originalTableName,newTableName);
// 更新原始表 (将原始表中的数据清空)注意:测试前先备份好原始数据,以防丢失
sanitationJobStatisticsMapper.truncateTable(originalTableName);
}
}
Mapper方法:
int getTrajectorySize();
boolean copyTable(@Param("originalTableName") String originalTableName,@Param("newTableName") String newTableName);
boolean truncateTable(@Param("originalTableName") String originalTableName);
Sql语句:
<select id="getTrajectorySize" resultType="int">
select count(*) from card_device_trajectory_info
select>
<update id="copyTable">
update>
<delete id="truncateTable">
TRUNCATE TABLE ${originalTableName};
delete>
在 Mybatis 的 XML 中,使用 包裹 SQL 语句是为了防止 XML 解析器将其中的特殊字符(如 <, >)解析成 XML 标签,从而导致语法错误。因此,加上
是一种良好的实践,可以确保 SQL 语句被正确解析。
但是,在某些情况下,如果 SQL 语句中不包含需要转义的特殊字符,也可以省略 。例如,如果 SQL 语句只包含简单的 SELECT 语句,没有特殊字符,那么可以直接写在
包裹。
以下是不使用
包裹 SQL 语句的示例:
<update id="copyTable">
CREATE TABLE ${newTableName} AS SELECT * FROM ${originalTableName};
update>
如果 SQL 语句中包含特殊字符或需要转义的内容,建议仍然使用 对 SQL 进行包裹
创建临时视图 card_device_trajectory_info_view
CREATE TEMPORARY VIEW card_device_trajectory_info_view AS
SELECT *
FROM card_device_trajectory_info --表1
UNION ALL
SELECT * FROM card_device_trajectory_info_bf; --表2
执行业务查询
select * from card_device_trajectory_info_view where imei = '15127423721' and DATE(gps_time) = CURRENT_DATE order by gps_time asc
手动删除视图资源 (如果不手动删除也会自动删除,所以这一步可以省略)
DROP VIEW card_device_trajectory_info_view;
临时视图
和普通视图(永久视图)
之间有以下区别:
临时视图
只在当前会话有效,会话结束后会自动删除。而普通视图
是永久性的,会一直存在数据库中,除非显式删除。临时视图
只对创建它的会话可见,其他会话无法访问。而普通视图
对所有会话都可见,可以被多个会话共享和使用。临时视图
的数据可以存储在内存或者临时表中,查询速度较快。而普通视图
的数据存储在磁盘上,查询速度可能相对较慢。临时视图
是临时创建的,不会被数据库系统持久化存储。而普通视图
是一个已经定义好的查询,可以被保存并在需要时重新使用。临时视图
一般用于查询数据,不能进行数据更新操作。而普通视图
可以根据定义的规则进行数据更新,例如使用触发器或者规定的权限。临时视图
通常用于会话级别的临时计算或者中间结果的存储。普通视图
用于复杂查询、数据重用和提供简化的数据模型。CREATE TEMPORARY VIEW table_view --创建临时视图(会话结束会自动删除)
CREATE VIEW table_view --创建普通视图(会话结束不会自动删除,需要手动 DROP VIEW table_view 进行删除)
总的来说,临时视图
适用于需要在会话中临时存储和处理数据的场景,而普通视图
适用于长期的数据查询和数据模型定义。选择使用哪种类型取决于业务需求和数据处理的特点。