(1)pt-archiver工具安装
-
基础环境依赖安装
yum groupinstall perl*
-
下载安装percona-toolkit
pt-archiver属于percona-toolkit包里的一个组件, 下载percona-toolkit 百度云盘下载地址:https://pan.baidu.com/s/1bp1OOgf yum install percona-toolkit-2.2.7-1.noarch.rpm -y
(2) 基础环境准备
源数据库:
set global innodb_flush_log_at_trx_commit=0;
create database db1 charset=utf8;
use db1;
create table t(id int primary key, a int, b int, index(a))engine=innodb;
delimiter ;;
create procedure idata()
begin
declare i int;
set i=1;
while(i<=100000)do
insert into t values(i,i,i);
set i=i+1;
end while;
end;;
delimiter ;
call idata();
目标数据库:
create database db1 charset=utf8;
use db1;
create table t_bak(id int primary key, a int, b int, index(a))engine=innodb;
(3)参数详解
--limit10000 每次取1000行数据用pt-archive处理,Number of rows to fetch and archive per statement.
--txn-size 1000 设置1000行为一个事务提交一次,Number of rows pertransaction.
--where‘id<3000‘ 设置操作条件
--progress5000 每处理5000行输出一次处理信息
--statistics 输出执行过程及最后的操作统计。(只要不加上--quiet,默认情况下pt-archive都会输出执行过程的)
--charset=UTF8 指定字符集为UTF8
--bulk-delete 批量删除source上的旧数据(例如每次1000行的批量删除操作)
--bulk-insert 批量插入数据到dest主机 (看dest的general log发现它是通过在dest主机上LOAD DATA LOCAL INFILE插入数据的)
--replace 将insert into 语句改成replace写入到dest库
--sleep120 每次归档了limit个行记录后的休眠120秒(单位为秒)
--file‘/root/test.txt‘
--purge 删除source数据库的相关匹配记录
--header 输入列名称到首行(和--file一起使用)
--no-check-charset 不指定字符集
--check-columns 检验dest和source的表结构是否一致,不一致自动拒绝执行(不加这个参数也行。默认就是执行检查的)
--no-check-columns 不检验dest和source的表结构是否一致,不一致也执行(会导致dest上的无法与source匹配的列值被置为null或者0)
--chekc-interval 默认1s检查一次
--local 不把optimize或analyze操作写入到binlog里面(防止造成主从延迟巨大)
--retries 超时或者出现死锁的话,pt-archiver进行重试的间隔(默认1s)
--no-version-check 目前为止,发现部分pt工具对阿里云RDS操作必须加这个参数
--analyze=ds 操作结束后,优化表空间(d表示dest,s表示source)
默认情况下,pt-archiver操作结束后,不会对source、dest表执行analyze或optimize操作,因为这种操作费时间,并且需要你提前预估有足够的磁盘空间用于拷贝表。一般建议也是pt-archiver操作结束后,在业务低谷手动执行analyze table用以回收表空间。
(4)常用操作
1)删除老数据(单独的删数据操作不用指定字符集)
pt-archiver --source h=localhost,u=root,p=redhat,P=3306,D=db1,t=t --no-check-charset --where 'id<=50000' --limit=10000 --txn-size 1000 --purge
2)复制数据到其他mysql实例,且不删除source的数据(指定字符集):
pt-archiver --source h=localhost,u=root,p=your_password,P=3306,D=db1,t=t --dest h=192.168.1.42,P=3306,u=root,p=your_password,D=db1,t=t_bak --progress 5000 --where 'id<=100000' --statistics --charset=UTF8 --limit=10000 --txn-size 1000 --no-delete
3)复制数据到其他mysql实例,并删source上的旧数据(指定字符集):
pt-archiver --source h=localhost,u=root,p=your_password,P=3306,D=db1,t=t --dest h=192.168.1.42,P=3306,u=root,p=your_password,D=db1,t=t_bak --progress 5000 --where 'id<=100000' --statistics --charset=UTF8 --limit=10000 --txn-size 1000 --bulk-delete
4)复制数据到其他mysql实例,不删除source数据,但是使用批量插入dest上新的数据(指定字符集):效率更高,使用bulk-insert用时7秒钟。而常规insert用时40秒。
pt-archiver --source h=localhost,u=root,p=your_password,P=3306,D=db1,t=t --dest h=192.168.1.42,P=3306,u=root,p=your_password,D=db1,t=t_bak --progress 5000 --where 'id<=100000' --statistics --charset=UTF8 --limit=10000 --txn-size 1000 --no-delete --bulk-insert
(5)参考文档
http://www.mamicode.com/info-detail-1903758.html