E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
pt-archiver
数据归档神器-
pt-archiver
前言介绍`
pt-archiver
是用来归档表的工具,可以做到低影响、高性能的归档工具,从表中删除旧数据,而不会对OLTP查询产生太大影响。可以将数据插入到另一个表中,该表不需要在同一台服务器上。
落弋V
·
2024-02-19 14:40
数据库开发
数据库架构
数据归档工具
pt-archiver
原理研究与使用
1.介绍之前处理mysql历史数据归档,直接写存储过程实现的(《mysql历史数据自动归档》),换新东家后,还是决定研究下主流的
pt-archiver
并实施。
sdmei
·
2024-02-19 14:08
数据库
mysql
pt-archiver
数据归档
percona
MySQL-运维工具
pt-archiver
数据归档工具
表归档到表(逐行进行)4.2表归档到表(批量进行)4.2.1归档到当前实例,并删除数据4.2.2归档到远程实例,不删除数据4.3仅清除表数据4.4表自增字段处理5.总结1.引言2.工具说明2.1使用方式
pt-archiver
凡尘技术
·
2024-02-19 14:07
数据库
mysql
运维
数据库
利用
pt-archiver
实现数据库归档功能
文章目录一、前言关于Percona二、PerconaToolkit安装percona-toolkit:
pt-archiver
归档命令的使用格式:示例:三、归档步骤:1)、创建归档数据库和归档表方式一(推荐
程序没有缘
·
2024-02-19 14:02
运维
Mysql
pt-archiver
数据库归档
读高性能MySQL(第4版)笔记10_查询性能优化(上)
服务端会拒绝接收更多的数据并抛出相应错误1.3.如果查询写得很糟糕,即使库表结构再合理、索引再合适,也无法实现高性能1.4.查询优化、索引优化、库表结构优化需要齐头并进,一个不落1.5.PerconaToolkit中的
pt-archiver
躺柒
·
2023-09-19 17:49
读高性能MySQL(第4版)
mysql
笔记
性能优化
数据库
索引优化
MySQL数据同步&归档使用工具总结
数据迁移方式&工具总结kettel的使用dataX的使用
pt-archiver
的使用kettel的使用1、中文网:http://www.kettle.org.cn/2、下载地址3、使用kettle进行数据迁移
黄叶都
·
2023-09-13 20:27
数据库
mysql
数据库
Percona-toolkit工具详解
1、
pt-archiver
(归档表)使用案例:1.归档到数据库例句1:pt-archiver--sourceh=localhost,u=root,D=sbtest,t=sbtest1--desth=localhost
noodlesbook
·
2023-03-29 00:54
Percona-toolkit工具详解
1.pt工具安装[root@master~]#yuminstall-ypercona-toolkit-3.1.0-2.el7.x86_64.rpm2.常用工具使用介绍
pt-archiver
归档表#重要参数
冷眸_boy
·
2023-03-21 04:23
利用
pt-archiver
归档 关联表
坎坷 在一波咨询和沟通后,发现DBA未用过
pt-archiver
对一些关联表做归档...... 在
凌云_00
·
2023-03-12 07:23
pt-archiver
用法介绍:
pt-archiver
[OPTION...]--sourceDSN--whereWHERE可以配置每次归档的数据量、提交间隔等,实际使用中根据情况进行调整。
Better朔
·
2023-03-10 18:06
故障分析 |
pt-archiver
归档丢失一条记录
自己使用
pt-archiver
备份时总是会少一条数据;如源数据库中某表数据为2333,导入目的数据库后select结
·
2022-09-28 17:54
mysql
故障分析 |
pt-archiver
归档丢失一条记录
自己使用
pt-archiver
备份时总是会少一条数据;如源数据库中某表数据为2333,导入目的数据库后select结
·
2022-09-28 17:52
mysql
pt-archiver
mysql数据归档
1、说明
pt-archiver
是percona-toolkit高级命令行工具集中的一种,可以查看当前服务的摘要信息,磁盘检测,分析慢查询日志,查找重复索引,实现表同步等等;2、安装这里以centos7为例进行安装说明
_Rondo
·
2022-09-20 18:09
关于
pt-archiver
和自增主键的那些事
前言
pt-archiver
是一款常见的表清理或者归档工具。MySQL中删除大表之前可以使用
pt-archiver
批量删除所有记录。
·
2022-04-25 13:12
MySQL 中如何归档数据的实现方法
目录什么是
pt-archiver
安装简单入门实现原理批量归档不同归档参数之间的速度对比其它常见用法(1)删除数据(2)将数据归档到文件中如何避免主从延迟常用参数总结归档,在MySQL中,是一个相对高频的操作
·
2022-03-14 11:45
MySQL 中如何归档数据
针对这些疑问,下面介绍MySQL中的数据归档神器-
pt-archiver
。本
iVictor
·
2022-03-14 07:00
mysql历史数据自动归档_sdmei-CSDN博客_mysql 归档
自动归档常见的方式有
pt-archiver
,但我还是觉得自己写存储过程更靠谱。。。
·
2021-07-03 11:00
【工具】归档工具
pt-archiver
概述官方文档:https://www.percona.com/doc/percona-toolkit/LATEST/pt-archiver.html将MySQL表中的数据归档到另一个表或文件中。需要表有主键默认迁移完成是会删除源表数据的。从一张表导入到另外一张表,要注意的是新表必须是已经建立好的一样的表结构,不会自动创建表,而且where条件是必须指定的不会自动执行analyze和optimize
醉红尘丶
·
2020-12-29 10:25
MySQL数据归档小工具mysql_archiver详解
一.主要概述MySQL数据库归档历史数据主要可以分为三种方式:一.创建编写SP、设置Event;二.通过dump导入导出;三.通过
pt-archiver
工具进行归档。
·
2020-12-22 10:07
技术分享 | Percona Toolkit 使用场景分享
作者:杜金洋更方便的数据归档
pt-archiver
某些存在时效性的数据,在达到一定条件后,需要进行归档和回收处理。
爱可生云数据库
·
2020-08-24 15:50
percona-server
数据库
MySQL数据归档实战-Python和
pt-archiver
的强强结合
导读作者:蓝剑锋TCL高级DBA,MySQL&OracleOCP知数堂MySQL实战/优化班第12期学员微信:lanjian106103个人公众号:DBARUN一、引言前段时间,在优雅的使用
pt-archiver
老叶茶馆_
·
2020-08-12 11:37
Percona-Toolkit 之
pt-archiver
删除历史数据
pt-archiver
是Percona-Toolkit工具集中的一个组件,是一个主要用于对MySQL表数据进行归档和清除工具。它可以将数据归档到另一张表或者是一个文件中。
ciqxcl15963093886
·
2020-07-11 04:54
MySQL归档
pt-archiver
工具官方文档-译文(一)
https://www.percona.com/doc/percona-toolkit/2.2/pt-archiver.html原文连接,有兴趣的读者可以看原文内容(译文为本人个人见解,如有异议,回复即可!转载请注明)。pt-archiverNAME¶pt-archiver-ArchiverowsfromaMySQLtableintoanothertableorafile.从MySQL表归档行记录
熊出陌
·
2020-07-07 22:41
MySQL
mysql历史数据自动归档
自动归档常见的方式有
pt-archiver
,但我还是觉得自己写存储过程更靠谱。。。
sdmei
·
2020-06-26 07:20
数据库
优雅地使用
pt-archiver
进行数据归档
经过一番折腾,发现使用percona的
pt-archiver
就可以轻松并优雅地对MySQL进行数据归档。一、引言最近由于业务需求,需要
暖夏未眠丶
·
2020-06-23 10:53
Percona Toolkit工具集之
pt-archiver
实现数据结转
#!/bin/bashdate1=`date --date "183 days ago" +"%Y-%m-%d"`date2=`date -d "$date1 -2 day" +"%Y-%m-%d"`user=dtspasswd='123456'host1='192.168.56.101'host2='192.168.56.102'host3='192.168.56.103'logfile='/t
xingzhehxiang
·
2020-03-31 12:39
pt-archiver
冷热分离
数据结转
技术分享 | Percona Toolkit 使用场景分享
作者:杜金洋更方便的数据归档
pt-archiver
某些存在时效性的数据,在达到一定条件后,需要进行归档和回收处理。
爱可生云数据库
·
2020-01-11 03:01
percona-server
数据库
pt-archiver
的"ascending-index optimization"导致MySQL卡死案例
最近在用
pt-archiver
归档一张1.4T的表,使用如下命令:pt-archiver--no-check-charset--primary-key-only--bulk-delete--commit-each
刀尖红叶
·
2020-01-07 05:26
mysqsl -
pt-archiver
-where'id100'--progress1000--file"/tmp/aa.txt"--limit=10000--no-delete4、强制指定索引,通过参数i来指定索引名字,默认按PRIMARY走,数据大的时候非常慢 pt-archiver--sourceh='xx',P='3306',u='xx',p='xx',D='db_order',t='xx'--desth='xx',P='33
monkeybron
·
2019-09-30 21:00
pt-archiver
归档数据 源库和目标库是否会出现不一致
背景归档的表在源库和目标库都要存在
pt-archiver
归档表的场景有:不删原表数据,非批量插入目标库;不删原表数据,批量插入目标库;非批量删除原表数据,非批量插入目标库;批量删除原表数据,批量插入目标库版本
Jia-Xin
·
2019-09-29 22:00
pt-archiver
归档数据 源库和目标库是否会出现不一致
背景归档的表在源库和目标库都要存在
pt-archiver
归档表的场景有:不删原表数据,非批量插入目标库;不删原表数据,批量插入目标库;非批量删除原表数据,非批量插入目标库;批量删除原表数据,批量插入目标库版本
jiaxin_12
·
2019-09-29 22:00
pt-archiver
归档历史数据及参数详解
2.3.参照
pt-archiver
工具参数及使用示例,预先编辑好归档命令(参照“5.场景示例”中的“A.”)。2.4.执行归档命令按月归档历史
do康解U
·
2019-07-12 16:00
Linux使用
pt-archiver
工具自动备份MySQL
操作系统:CentOS6.9脚本语言:shellhttps://github.com/iscongyang/Practical/blob/master/shell-scripts/pt-archiver-mysql.sh此链接是自动化备份MySQL数据库的脚本,在您使用之前,建议通读一遍脚本,需要修改一些变量值,改成您自己的参数在您使用过程中,若发现脚本有需要改进的地方,欢迎到issues(htt
丛杨
·
2019-06-13 09:00
Percona-Toolkit 之
pt-archiver
总结
pt-archiver-ArchiverowsfromaMySQLtableintoanothertableorafile.pt-archivernibblesrecordsfromaMySQLtable.The--sourceand--destargumentsuseDSNsyntax;ifCOPYisyes,--destdefaultstothekey'svaluefrom--source.p
H_Johnny
·
2019-04-17 10:00
pt-archiver
工具使用笔记
注意:1、阿里云环境使用,需要额外添加参数:--noversion-check。#否则出现错误Can'tuseanundefinedvalueasanARRAYreferenceat/usr/bin/pt-archiverline5472.2、默认删除或迁移,不包含max(id)那条数据,解决办法:http://www.ttlsa.com/mysql/pt-archiver-bug-cannot-
huoyuanshen
·
2019-03-15 14:48
Mysql综合
mysql文章目录
表复制工具
pt-archiver
基本使用:https://blog.51cto.com/1000682/2356355自增id不连续问题总结:https://blog.51cto.com/1000682
wfwf1990
·
2019-03-01 15:54
mysql目录
mysql
表复制工具
pt-archiver
基本使用
(1)
pt-archiver
工具安装基础环境依赖安装yumgroupinstallperl*下载安装percona-toolkitpt-archiver属于percona-toolkit包里的一个组件,
wfwf1990
·
2019-02-28 17:39
mysql
percona-toolkit
mysql
pt-archiver
数据平滑删除、平滑迁移利器!
写在前面调研一件工具之前,在心里一定要明白,自己要实现的是什么功能,带着自己的问题,去找寻答案才能学到新的知识点!需求背景1)线上数据库有一类ip表,用来记录每天用户对网站的访问记录情况,然后将其按照时间段整合到一起,做数据分析工作,整合的时间不同,最后形成的数据表大小亦是不同,小点千万级,大点可能亿级,现有需求将半年前的用户记录删除,如何安全删除?2)系统做了升级,现要将原来的数据迁移至新服务器
insist_way
·
2019-01-30 10:47
数据删除
数据迁移
pt-archiver
MySQL
percona-toolkit 之 【
pt-archiver
】
背景:工作上需要删除或则归档一张大表,这时候用
pt-archiver
可以很好的满足要求,其不仅可以归档数据,还有删除、导出到文件等功能。
jyzhou
·
2018-11-08 15:00
Percona
pt-archiver
重构版--大表数据归档工具
Perconapt-archiver重构版--大表数据归档工具相信很多小伙伴们,在日常对接开发时,有很多大表在业务上并没有采取任何形式的切分,数据不停地往一张表里灌入,迟早有一天,磁盘空间报警。作为一个DBA,侧重点是对数据库的操作性能(大表增加字段/索引,QPS等)和存储容量加以考虑,我们会建议开发对数据库里的大表进行数据归档处理,例如将3个月内的订单表保留在当前表,历史数据切分后保存在归档表中
hcymysql
·
2018-08-07 18:36
pt
archiver
归档
MySQL管理
RDS for MySQL 如何使用 Percona Toolkit
pt-online-schema-change和
pt-archiver
工具均须指定--no-version-check选项方能搭配RDSMySQL实例使用。
会说话的鱼
·
2018-04-02 13:10
ja
MySQL
pt-archiver
数据删除、迁移工具使用
1.数据库连接参数参数说明A字符编码D库F从文件读取选项L加载数据本地文件P端口Ssocket文件a执行查询的数据库b如果是true,禁用SQL_LOG_BINh数据库地址i查询使用的索引m插件模块名称p数据库密码t表u用户名2.常用参数参数默认值说明--limit10000每次取1000行数据用pt-archive处理,Numberofrowstofetchandarchiveperstatem
AndyMac
·
2018-03-29 15:43
percona
数据
迁移工具
Mysql
optimize 回收表空间的一些说明
optimize命令回收表空间的说明线上服务器,有张大表需要用
pt-archiver
根据时间划分归档大量数据到另一个新表中。
我的二狗呢
·
2017-08-06 18:28
optimize
回收表
空间命令
MySQL
pt-archiver
归档工具的使用详解
之前的percona-toolkit工具集的使用博文里面也写到
pt-archiver
这个工具的用法,但是不够深入全面。这里补充完善下。注意:
pt-archiver
操作的表必须有主键。
我的二狗呢
·
2017-07-13 23:40
使用
pt
archiver
MySQL
pt-archiver
Bug不会迁移max(id)那条数据的解决方法
id)那条数据的解决方法:参考:http://www.ttlsa.com/mysql/pt-archiver-bug-cannot-migration-max-id-record/修改/usr/bin/
pt-archiver
我的二狗呢
·
2017-06-12 15:54
pt-archiver
Bug不会迁移m
MySQL
Percona-tookit学习笔记(二)
-user=root--password=root-hlocalhost|pt-align【pt-mysql-summary这个工具后面会讲到,这里为了演示pt-align的作用】命令的执行结果如下:
pt-archiver
我的二狗呢
·
2016-05-11 13:59
笔记
toolkit
percona
MySQL
使用percona-toolkit操作MySQL的实用命令小结
1.pt-archiver功能介绍:将mysql数据库中表的记录归档到另外一个表或者文件用法介绍:
pt-archiver
[OPTION...]
飞鸿无痕
·
2015-11-18 16:48
上一页
1
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他