TDEngine - taosdump的安装与使用实战


taosdump的安装与使用实战

  • 一、taosdump简介
  • 二、下载
  • 三、安装
    • 3.1 tar方式安装
    • 3.2 rpm方式安装
  • 四、taosdump主要参数
  • 五、taosdump数据导出(备份)
  • 六、taosdump数据导入
  • 七、不同版本的数据迁移
    • 7.1 问题:报错- create database 语句不一致
    • 7.2 解决:修改导出的dbs.sql
  • 八、卸载
  • 九、异常 - error in 'taosdump:malloc'
  • 十、 更多

1


回到目录  回到末尾

一、taosdump简介

TDEngine官网 - 参考手册:taosdump

  taosdump 是一个支持从运行中的 TDengine 集群备份数据并将备份的数据恢复到相同或另一个运行中的 TDengine 集群中的工具应用程序。
  taosdump 可以用数据库、超级表或普通表作为逻辑数据单元进行备份,也可以对数据库、超级 表和普通表中指定时间段内的数据记录进行备份。使用时可以指定数据备份的目录路径,如果 不指定位置,taosdump 默认会将数据备份到当前目录。
  如果指定的位置已经有数据文件,taosdump 会提示用户并立即退出,避免数据被覆盖。这意味着同一路径只能被用于一次备份。 如果看到相关提示,请小心操作。
  taosdump 是一个逻辑备份工具,它不应被用于备份任何原始数据、环境设置、 硬件信息、服务端配置或集群的拓扑结构。taosdump 使用 Apache AVRO 作为数据文件格式来存储备份数据。

回到目录  回到末尾

二、下载

  taosTools工具包,包含备份taosdump和taosBenchmark工具,不能单独使用,需要先安装客户端和服务端。客户端和服务端安装参考链接:TDEngine3.0环境安装及配置
  taosTools下载链接:TDEngine官网 - taosTools发布历史页面

tips:
1、下载的版本最好与实际安装的TDEngine Server版本对应,实际的安装包后缀与server的后缀部不是一致的
2、server 2.0版本之后的建议下载1.4.5之后版本
3、如果安装之后,taos服务可以正常启动,但是运行taosdump时异常:缺少.so文件,大概率是因为版本不匹配,建议更换taostools版本。

  我这边实战匹配过的版本如下示例:

tdenger server taostoools
2.4.0.16 1.4.5
2.6.0.32 2.2.4
3.0.4.2 2.2.4

  因为我这边安装的TDEngine Server版本是3.4.0.2,第一次匹配安装的taostools版本为2.1.3,该版本数据导入时是可以的,但是数据导出时会报异常(【点击查看异常信息及解决方案】),然后升级到2.2.4版本后就可以正常导出了。所以后面本文的截图部分是2.1.3下的安装信息,部分是2.2.4的安装信息,不影响整体安装流程的部分图片没有修订。

server安装参考,对应下载的taostools版本为:taosTools-2.2.4-Linux-x64.tar.gz
1

  注意:最好不要在同一个系统上,同时使用rpm 、tar 、 deb安装。如果服务端用的是.tar.gz形式安装,客户端和taostools最好也用.tar.gz形式安装。

回到目录  回到末尾

三、安装

3.1 tar方式安装

1.创建目录,并将下载的文件传输至目录:

mkdir /home/tdengine
  1. 解压缩:tar -zxvf taosTools-2.2.4-Linux-x64.tar.gz
    查看加压缩后的目录:
#查看解压缩后的目录
ls
#进入解压缩后的目录
 cd taosTools-2.2.4
#查看目录下的文件内容
ls

1
3.执行安装命令:./install-taostools.sh

卸载命令:./uninstall-taostools.sh

1
安装成功后,进入taos shell命令查看安装是否成功。

回到目录  回到末尾

3.2 rpm方式安装

执行命令:

#命令·
 rpm -ivh rpm文件位置及名称.rpm
 #示例
 rpm -ivh /home/soft/taosTools-2.2.4-Linux-x64-comp3.rpm

回到目录  回到末尾

四、taosdump主要参数

  taosdump 的导出行为的本质其实是使用 SQL 进行查询,将数据压缩后输出到本地,导入行为则是通过 STMT 接口再把导出的数据导入新的环境。因此,能够顺利完成数据导出的用户,应尽量拥有如下几个特征:
(1)拥有足够磁盘空间,建议需要至少留出 du -sh $dataDir/vnode --exclude=‘wal’ 大小的 3 倍空间(多多益善)。但如果是按照库/表为单位分批导出,或者指定时间范围导出的话,就比较灵活了。
(2)数据库日常使用负载不高,在大量导出 SQL 执行时,数据库仍有充足资源可以保障正常生产使用。
(3)待迁移的数据为测试环境不需担心影响业务,或者生产环境的业务间歇期足够完成数据的导出。
  只要磁盘空间充足,时间充足,就可以完成导出操作。导入则相对简单,没有额外需求,按照正常的数据库部署思路即可。

taosdump主要参数
-o:指定输出文件的路径。文件会自动生成。一个dbs.sql文件,导出数据库、超级表;若干个XXX_tables.N.sql文件,文件名的规则:XXX是数据库名称,N是数字,从0开始递增
-u:用户名。
-p:密码。
-A:指示导出所有数据库的数据。
-D:表示指定数据库。
-i:表示输入目录。
-s:表示导出schema。
-t:指定导入到一个文件的表的个数。该参数可以控制输出文件的大小。(网上很多博客里面都有记录这个参数,但是好像taosdump已经不用这个参数了)
-B:指定一条import语句中包含记录的条数。注意:不要让sql语句超过64k,否则后续导入会出错。该参数为了后续导入时,提高导入速率。
-T: 指定导出数据时,启动的线程数。建议设置成机器上core的2倍。

可以通过 命令 taosdump --help 获取参数信息

回到目录  回到末尾

五、taosdump数据导出(备份)

# 以tar形式安装的,需要先进入taostools安装目录,rpm方式安装的这步骤可以忽略
cd 安装目录
# 执行导出命令
 taosdump -o <导出存放目录>  -D 需要导出的数据库

1.创建导出目录

#创建存放数据总目录
mkdir /home/tdengine/taosdump
#创建本次导出存放目录
mkdir /home/tdengine/taosdump/data20230602
#进入存放目录
cd /home/tdengine/taosdump/data20230602

2.执行导出命令:
(1)进入taostool的安装目录 - rpm方式安装的这步骤可以忽略

#进入taostool的安装目录 - 
cd /home/tdengine/taosTools-2.2.4
#查看该目录下是否有bin目录
ls

1
(2)执行命令导出:

 #执行命令导出 - 指定数据库及时间范围
 taosdump -o /home/backupdatas/tljddatan2023.4.20-4.30/ -D tljd_datan -S 2023-04-20T00:00:00Z -E 2023-05-01T00:00:00Z

TDEngine - taosdump的安装与使用实战_第1张图片

如果是通过rpm形式安装的taostools可以在任意目录下执行taosdump命令,不需要进入安装目录,格式示例:taosdump -o /taosdump/data20230602/ -A
TDEngine - taosdump的安装与使用实战_第2张图片

3.查看导出的文件:

#进入刚指定的导出目录
cd  /home/backupdatas/tljddatan2023.4.20-4.30
#查看是否已存在备份文件
ls

1

回到目录  回到末尾

六、taosdump数据导入

# 以tar形式安装的,需要先进入taostools安装目录,rpm方式安装的这步骤可以忽略
cd 安装目录
# 执行导入命令
 taosdump -i <导入的数据存放目录> 
  1. 进入taostools安装目录: - rpm方式安装的这步骤可以忽略
 cd /home/tdengine/taosTools-2.2.4
  1. 执行命令:taosdump -i
#如:
taosdump -i /home/tdengine/taosdump/data20230602/

TDEngine - taosdump的安装与使用实战_第3张图片

回到目录  回到末尾

七、不同版本的数据迁移

参考链接:如何把数据从 TDengine 2.x 迁移到 3.x ?
参考链接:如何把数据从 TDengine 2.x 迁移到 3.x ?
迁移背景:
1、数据导出:将TDEngine2.4.0.16中数据通过taostools.1.4.5中的taosdump工具将数据导出。
2、数据导入:在TDEngine3.0.4.2中通过taostools.2.1.3中的taosdump工具将数据导入。

7.1 问题:报错- create database 语句不一致

导入时报错:create database 语句不一致
TDEngine - taosdump的安装与使用实战_第4张图片
对别导出的dbs.sql中数据库的创建语句,和TDEngine3.0中的数据创建语句:

#查看数据库创建语句
SHOW CREATE DATABASE  数据库名称  \G;

对比两边的创建语句,发现语句不相同:
TDEngine - taosdump的安装与使用实战_第5张图片

7.2 解决:修改导出的dbs.sql

 修改导出的dbs.sql中的create database语句,删除create database语句中默认的参数设置,只保留需要特别设置的属性。

CREATE DATABASE IF NOT EXISTS 库名称  [KEEP 保留时间][..其他必要设置];

比如我的数据库需要设置保留天数1825天(5年),其他的参数不需要特别注意,将语句修改为:

CREATE DATABASE IF NOT EXISTS test KEEP 1825d;

修改前的2.0语句为:
TDEngine - taosdump的安装与使用实战_第6张图片
修改后的语句为:
TDEngine - taosdump的安装与使用实战_第7张图片
再执行导入:

./bin/taosdump -i /home/tdengine/taosdump/datatest/

这一次成功了:
TDEngine - taosdump的安装与使用实战_第8张图片

tips:
如果你还出现其他的错误,根据提示,对比2.0和3.0版本中的语句差异,调整sql文件。

回到目录  回到末尾

八、卸载

【TDEngine彻底卸载 - taostools工具卸载】

九、异常 - error in ‘taosdump:malloc’


TDEngine - taosdump的安装与使用实战_第9张图片
如果在数据导入或导出过程中,遇到上图所示的问题,解决步骤如下:

  1. 先看导出目录下的内存是否足够,不够的话,换其他目录导出
  2. 如果在内存充足的情况下,出现上述问题那么可能是taostools版本不对,不能适应数据导出或导入,建议升级到高版本重试。

回到目录  回到末尾

十、 更多

  • TDEngine的常用命令及功能总结
  • TDEngine环境安装、配置及使用经验总结
  • taosdump的安装与使用实战
  • TDengine3.0与2.0版本的差异总结
  • TDEngine 调优 - 高速查询及插入
  • TDEngine彻底卸载
  • 异常解决 - Error in `taosdump‘: malloc(): memory corruption: 0x0
  • 数据库管理工具DBeaver 连接 TDengine详细教程

你可能感兴趣的:(数据库,tdengine,数据库,服务器)