数据迁移

elasticsearch数据迁移之elasticdump

系列文章目录第一章es集群搭建第二章es集群基本操作命令第三章es基于search-guard插件实现加密认证第四章es常用插件文章目录系列文章目录前言一、elasticdump是什么？二、安装elasticdump工具1.离线安装2.在线安装三、elasticdump相关参数四、使用elasticdump进行数据备份五、使用elasticdump进行数据恢复前言在企业实际生产环境中,避免不了要对
迷茫运维路·2024-09-14 12:47

准备SAP RISE Go-Live weekend

写本篇文章的时候，我正在等待着第一个和生产性测试(productivetest)相关的活动，财务同事下载旧生产系统的资产负债表，此份资产负债表将和新生产系统的资产负债表对比，以确保数据迁移的完整性。
syounger·2024-09-14 05:30

Kafka和Pulsar深入解析

Kafka多租户：单租户系统数据迁移：依赖MirrorMaker，需要额外维护。市场上也有ConfluentReplicator等供应商工具。分层存储：由供应商提供商业使用。
jasen91·2024-09-14 01:39

flask-sqlalchemy的模型类两个表，既有一对一又有一对多的情况时，解决方法

这种情况时，直接进行数据迁移会回报错，因为一个表需要依赖另一个表，所以可以将两个表的基本字段先迁移好，然后再新增外键字段进行迁移，就不会报错了fromdatetimeimportdatetimefromapi.models.baseimportBaseModelfromapiimportdbfromwerkzeug.securityimportcheck_password_hash
skyTree,,·2024-09-13 04:55

第三章 Mybatis 常用工具

这些工具可以大大简化数据库管理、数据迁移、测试以及自动化任务中的数据库交互。ScriptRunnerScriptRunner通常指的是一个能够执行SQL脚本文件的工具
flying jiang·2024-09-10 01:11

mysql迁移大量数据备选方案

以下是几种常见的方案：1.MySQL官方工具：MySQLWorkbench和MySQLShell1.1MySQLWorkbench数据迁移工具MySQLWorkbench提供了数据迁移工具，可以帮助你将数据从一个
lonelyhiker·2024-09-09 22:24

ClickHouse 分布式部署、分布式表创建及数据迁移指南

配置和管理4.1配置监控4.2数据备份数据迁移5.1导出5.2导入部署ClickHouse集群QuantumInsights的部署将基于一个高可用的分布式ClickHouse集群，以实现对大规模数据的高效处理和
努力做一名技术·2024-09-08 21:03

如何拿下TCP（数据库交付运维高级工程师TDSQL(MySQL版)）认证

数据库实例的基本操作与使用方法掌握TDSQL（MySQL版）集群的基本操作与使用方法掌握TDSQL（MySQL版）实例备份恢复原理与操作使用，以及高可用方案的实现掌握TDSQL（MySQL版）数据同步和数据迁移
小伟C_C·2024-09-08 18:14

探索阿里巴巴的增量数据处理利器：Canal

探索阿里巴巴的增量数据处理利器：Canalcanalalibaba/canal:Canal是由阿里巴巴开源的分布式数据库同步系统，主要用于实现MySQL数据库的日志解析和实时增量数据订阅与消费，广泛应用于数据库变更消息的捕获、数据迁移
费琦栩·2024-09-05 05:37

9.迁移CM和数据库-2

9.1将原CM节点数据迁移至新节点9.1.1备份原CM节点数据主要备份CM的监控数据和管理信息，数据目录包括:/var/lib/cloudera-host-monitor/var/lib/cloudera-service-monitor
大勇任卷舒·2024-09-03 05:01

HBase数据迁移实战

本文来自网易云社区最近为产品做了一次HBase的数据迁移操作，学习了一些相关的技术和实现方案。现整理出来，作为今后HBase数据迁移的参考。如有纰漏，欢迎指正。
网易数帆大数据·2024-08-29 16:25

全量、增量数据在HBase迁移的多种技巧实践

作者经历了多次基于HBase实现全量与增量数据的迁移测试，总结了在使用HBase进行数据迁移的多种实践，本文针对全量与增量数据迁移的场景不同，提供了1+2的技巧分享。
华为云技术精粹·2024-08-29 15:52

Hbase离线迁移

1.关闭2个hbase2.使用distcp将hdfs上的hbase数据迁移到另一个【相同路径】的hdfs上。不知道目录的话，可以find/-namehbase-site.xml找一下。
我要用代码向我喜欢的女孩表白·2024-08-29 15:22

Python大数据学习day01——大数据开发概论

目录大数据概念大数据特点大数据应用场景大数据分析业务步骤大数据职业规划大数据学习路线1.大数据解决问题海量数据存储——海量数据运算——海量数据迁移2.大数据特点（大、多、值、快、信）数据体量大种类和来源多源化实现低价值密度速度快数据的质量准确可信
笨小孩124·2024-08-28 12:46

打造扛得住的MySQL数据库架构视频教程-数据库结构优化 高可用架构设计

套数据库系列Mysql/SQLServer/Redis/Mongodb/Nosql精讲训练营项目实战，数据库设计，架构设计，性能管理，集群搭建，查询优化，索引优化，分库分表，高性能可扩展，DML应用，数据迁移
cd137a460a79·2024-08-28 04:10

CDH 之 hive 数据迁移

当你想切换了集群想把hive迁移至新集群，两个集群之间又互不相通，一个最简单快捷的方法，就是批量导出元数据信息，同时把数据文件下载上传至新服务器的数据文件存放目录下1.导出元数据信息#database即是数据库名称hive-e"use;showtables;"|xargs-I'{}'sh-c'hive-e"use;showcreatetable'{}';"'>tables.sql2.将原服务器中h
啊 这·2024-08-27 13:18

Hive 数据迁移与备份

迁移类型同时迁移表及其数据（使用import和export）分步迁移表和数据迁移表（showcreatetable）迁移数据关联表和数据（msckrepair）迁移步骤将表和数据从Hive导出到HDFS
linzeyu·2024-08-27 13:17

linux 系统迁移到固态硬盘,把整个Linux系统迁移到另一个硬盘

买了个固态，不想重装，所以鼓捣着直接把旧硬盘数据迁移到新硬盘中。遂有此文。原来机械硬盘是msdos分区表，新固态硬盘是gpt分区表，数据大小在100GB以内，所以使用dd命令迁移。
zqk666mkq~·2024-08-27 11:32

【PL/pgSQL】华为数据库GaussDB及PostgreSQL 数据库系统的过程语言

创建存储过程2.调用存储过程3.自定义函数触发器1.创建触发器函数2.创建触发器异常处理高级语法特性示例控制结构条件语句循环异常处理游标动态SQL复合类型实际应用案例案例1：自动生成报告案例2：复杂的数据迁移案例
来一杯龙舌兰·2024-08-27 08:17

鸿萌数据恢复及备份: 高效地从快照恢复虚拟机； 虚拟机备份必不可少

针对虚拟化环境的数据安全，鸿萌提供以下解决方案：1.各种故障情形的虚拟机数据恢复2.VMWare及Hyper-V虚拟机备份3.虚拟机数据迁移4.专业的虚拟机数据恢复软件代理商（UFSExplorerProfessionalReco
鸿萌数据安全·2024-08-26 16:59

CoreData 核心指南：Swift 中的数据持久化之道

本文将带领读者深入了解如何在Swift中使用CoreData，掌握数据模型的创建、数据的增删改查以及数据迁移等核心技能。CoreData简介CoreD
2401_85742452·2024-08-24 17:40

docker修改数据目录

新建docker数据目录mkdir/data/docker-data停止docker服务systemctlstopdocker把docker数据迁移到新目录cp-r/var/lib/docker/*/data
Mr_Moka·2024-08-23 02:58

基于ElasticSearch存储海量AIS数据-架构设计篇

文章目录引言I背景II数据集群架构选型2.1关键点2.2架构设计2.3数据迁移工具:Canal关键词：时空索引；船舶自动识别系统；轨迹压缩；数据集群引言船舶自动识别系统(AIS)数据具有海量性、时空性和小记录频繁更新等特性
iOS逆向·2024-03-15 23:58

DataX-数据迁移Oracle到Mysql-ETL工具

一、安装https://github.com/WeiYe-Jing/datax-web/blob/master/doc/datax-web/datax-web-deploy.md1、直接下载DataX工具包：DataX下载地址下载后解压至本地某个目录，进入bin目录，即可运行同步作业：$cd{YOUR_DATAX_HOME}/bin$pythondatax.py{YOUR_JOB.json}自检脚
天海行者·2024-03-15 08:35

【Python】FTP库的介绍及用法

数据迁移：在需要从一个系统迁移到
“趁早”·2024-03-13 20:45

向爬虫而生---Redis 探究篇7＜Redis的Bigkey解决方案＞

为了解决这一问题，有几种常用的解决方案可供选择，包括数据拆分、分页处理、压缩/序列化和数据迁移。
晦涩男董先生·2024-03-08 11:05

DBeaver SQL脚本执行配置

对生产环境数据迁移到测试环境时，单条执行可能时间过长、或者内存装不下。最快的方法是执行SQL脚本。
Anpedestrian·2024-02-20 12:48

用于将Grafana默认数据库sqlite3迁移到MySQL数据库

以下是一个方案，用于将Grafana数据迁移到MySQL数据库。
huainian·2024-02-20 11:21

新旧系统数据迁移测试

1新旧系统数据迁移测试新旧系统数据迁移测试是确保在系统升级或更换过程中，数据能够准确、完整地从旧系统转移到新系统的关键步骤。
软件测试很重要·2024-02-19 22:30

工作中Redis有哪些好用的运维工具

工作中使用Redis时，如果大家公司没有专业运维，可能开发人员就会面临这些运维的工作，包括Redis的运行状态监控，数据迁移，主从集群、切片集群的部署和运维等等。
诗者才子酒中仙·2024-02-13 13:11

【转】记一次 ClickHouse 数据迁移

转载地址：https://zhuanlan.zhihu.com/p/220172155背景大约在2018年8月份开始正式接触ClickHouse，当时机房没有合适的服务器，就在Azure开了一台虚拟机来部署。平稳运行了两年，支撑了YiDrone和YiSonar两个重要的产品的底层数据存储和查询。前段时间采购服务器的时候预留了一些资源，加上Azure的免费订阅即将到期，于是准备把ClickHouse
基咯咯·2024-02-13 07:25

三、案例 - MySQL数据迁移至ClickHouse

MySQL数据迁移至ClickHouse一、生成测试数据表和数据1.在MySQL创建数据表和数据2.在ClickHouse创建数据表二、生成模板文件1.模板文件内容2.模板文件参数详解2.1全局设置2.2
青啊青斯·2024-02-13 07:22

2018-08-25 2000万条数据迁移从几天到几个小时

作者：闪客sun|博客园https://www.cnblogs.com/flashsun一直不知道性能优化都要做些什么，从哪方面思考，直到最近接手了一个公司的小项目，可谓麻雀虽小五脏俱全。让我这个编程小白学到了很多性能优化的知识，或者说一些思考方式。真的感受到任何一点效率的损失放大一定倍数时，将会是天文数字。最初我的程序计算下来需要跑2个月才能跑完，经过2周不断地调整架构和细节，将性能提升到了4小
Albert陈凯·2024-02-12 10:45

wiz为知笔记docker部署与数据迁移

为知笔记官方支持了docker私有部署，虽说有限制（限制5人），但是一般个人使用足够了。给为知笔记点赞。我是部署到云服务器上的。云服务器是有时间限制的，续期又太贵，我一般都是换个小号，继续白嫖新手价。so，我不想在私有部署的wiz上记了很多笔记，但是服务器到期之后，数据全丢。能不能有方法备份数据，随时可以迁移到另外服务器上？答案是可以的。其实在官方文档里已经说明了。如下：如何更新？1、停止wiz容
我口袋有三十三块·2024-02-11 23:01

CloudCanal x Redis 数据同步指令集丰富与细节优化

简述CloudCanal前一段时间支持了Redis到Redis数据迁移同步能力，并支持其双向同步，但是支持的指令种类有限。
·2024-02-11 17:42

数据备份和恢复

数据备份和恢复什么情况下会用到数据备份呢数据丢失的场景人为误操作造成的某些数据被误操作软件BUG造成数据部分或者全部丢失硬件故障造成数据库部分或全部丢失安全漏洞被入侵数据恶意破坏非数据丢失场景基于某个时间点的数据恢复开发测试环境数据库搭建相同数据库的新环境搭建数据库或者数据迁移既然数据备份如此重要
·2024-02-11 17:37

双活工作关于nacos注册中心的数据迁移

原文：NacosSync用户手册，在查到这个文档的时候发现nacos也有restful的api，方便可以结合前端组件进行注册中心的数据迁移到内管上，避开上线流程的约束。准
小强聊it·2024-02-11 14:11

minio server pool 的特点小结

以下说明一些特点：多个serverpool的都是可以上传的以及下载操作的，而且serverpool内的都可以看见所有文件多个serverpool中如果有一个serverpool被降级了，在数据迁移过程中
网络飞鸥·2024-02-11 11:47

数据备份和恢复

数据备份和恢复什么情况下会用到数据备份呢数据丢失的场景人为误操作造成的某些数据被误操作软件BUG造成数据部分或者全部丢失硬件故障造成数据库部分或全部丢失安全漏洞被入侵数据恶意破坏非数据丢失场景基于某个时间点的数据恢复开发测试环境数据库搭建相同数据库的新环境搭建数据库或者数据迁移既然数据备份如此重要
拾光师·2024-02-11 07:35

Django学习之旅（二）创建数据模型及数据迁移

Django也属于面先对象的编程方式，因此以对象的形式承载数据及与数据库进行传输。创建数据模型在blog应用的models.py中编写数据模型，数据模型都必须继承models.Model，模型的属性也以系统规定的类型进行定义，如models.CharField等。参照追梦人物老师的教程，我们定义了博客及其分类、标签三个数据模型，如下。fromdjango.contrib.auth.modelsim
气概·2024-02-10 06:40

django model对象修改_Django模型修改及数据迁移实现解析

MigrationsDjango中对Model进行修改是件麻烦的事情，syncdb命令仅仅创建数据库里还没有的表，它并不对已存在的数据表进行同步修改,也不处理数据模型的删除。如果你新增或修改数据模型里的字段,或是删除了一个数据模型，你需要手动在数据库里进行相应的修改或者使用South。Django1.7中已经集成了South的代码，提供了3个新命令：migrate:用于执行迁移动作，具有syncd
抑郁了该怎么办·2024-02-10 06:10

django数据迁移

Django-配置媒体资源-数据迁移（一）配置项目1、在PyCharm中新建项目babies2、项目中新建app和两个文件夹(media、pstatic)3、数据配置（1）setting中注册app（2
lyhwhite·2024-02-10 06:38

django中实现数据迁移

在Django中，数据迁移（datamigrations）通常指的是将模型（models）中的数据从一个状态迁移到另一个状态。
攻城狮的梦·2024-02-10 06:37

SQL拆分字段内容（含分隔符）

问题描述：在做数据迁移的过程中，我们希望对表中的某个字段根据分隔符进行拆分，得到多条数据，原代码有点意思，因此记录一下。
shirsl·2024-02-09 19:22

如何通过MIUI备份功能实现不同手机之间应用数据迁移？

场景换了手机之后，把旧手机的联系人、通话记录等数据迁移到新手机上思路1.使用新手机和旧手机分别备份通话记录，不同手机备份文件所在位置可能不一样，一般在MIUI/backup/AllBackup/yyyyMMdd_HHmmss
monsterskiller·2024-02-09 11:03

Linux——进程池（管道）

这样做的好处是，我们在使用的顺序表的时候可以一定程度上减少扩容的消耗（数据迁移，函数调用）。提高我们
歪～~·2024-02-08 17:06

第24周总结

微信清理、手机数据迁移问题、第一次手机迁移应用都是最近换手机后遇到的问题记录。这里面包括当前我用的最多的应用，空间的管理和手机数据管理问题。
Maker在杭州·2024-02-08 13:37

后端的技术设计文档

4.资源评估(非必需)有没有新的服务二、架构设计1.架构图(非必需，新服务比较需要)2.技术选型SpringCloud、Redis、Mysql、Mybatis3.幂等设计(非必需)4.数据迁移方案(历史数据的处理
乐之者v·2024-02-08 06:45

大数据系列—数据迁移(Sqoop,Flume,DataX)对比学习（stage3）

Boys，Grils，Friends！MynameisJinsuo.Shi.一个不正经的大数据开发工程师，目前从事在公司主要进行CDP平台的数据接入、数据的ETL、数据的融合与事件的展开工作。个人大数据技术栈：DataX,Sqoop,Hadoop,Hive,Spark,Flink,Hbase,Kafka,Kettle,Azkaban,Airflow,Tableau…个人在学习领域：Python，P
道-闇影·2024-02-08 06:07

2021-08-02

昨天买了个新手机，今天慢慢把数据迁移过去，当最重要的信息基本迁移完毕，我的旧手机突然鬼使神差的花屏了！我老天，发生了什么。
超晓小布·2024-02-08 02:47
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他