redis数据迁移

1.需求

需要将一个redis实例中的keys，转移到另一个redis实例

2.迁移方案

部分命令由 docker 执行，原因目标 redis 部署在 docker 

2.1 源实例与目标实例版本相同

2.1.1 使用dump命令

#!/bin/bash

#redis 源ip
src_ip=10.88.91.89
#redis 源port
src_port=6379

#redis 目的ip
dest_ip=192.168.10.6
#redis 目的port
dest_port=6379

#要迁移的key前缀
key_prefix=''

i=1

docker exec -i 740f4b08a26d redis-cli -h $src_ip -p $src_port -n 0 keys "*" | while read key
do
    # 禁止删除原实例数据
    #docker exec -i 740f4b08a26d redis-cli -h $dest_ip -p $dest_port -n 0 del $key
    docker exec -i 740f4b08a26d redis-cli -h $src_ip -p $src_port -n 0 --raw dump $key | perl -pe 'chomp if eof' | docker exec -i 740f4b08a26d redis-cli -h $dest_ip -p $dest_port -n 0 -x restore $key 0 &
    echo "$i migrate key $key"
    ((i++))
done

2.1.2 使用migrate命令

migrate用法：

MIGRATE host port key destination-db timeout [COPY] [REPLACE] 

起始版本：2.6.0
时间复杂度：This command actually executes a DUMP+DEL in the source instance, and a RESTORE in the target instance. See the pages of these commands for time complexity. Also an O(N) data transfer between the two instances is performed.

迁移脚本：copy 不会删除原redis 实例数据，replace 会删除原redis实例数据

#!/bin/bash

#redis 源ip
src_ip=10.88.91.89
#redis 源port
src_port=6379

#redis 目的ip
dest_ip=192.168.10.6
#redis 目的port
dest_port=6379

#要迁移的key前缀
key_prefix=''

i=1

docker exec -i 740f4b08a26d redis-cli -h $src_ip -p $src_port -n 0 keys "*" | while read key
do
    docker exec -i 740f4b08a26d redis-cli -h $src_ip -p $src_port migrate $dest_ip $dest_port $key 0 10000 copy &
    echo "$i migrate key $key"
    ((i++))
done

2.2 源实例与目标实例版本不相同

2.2.1 不可行方案

• 如果源实例与目标实例版本不相同，使用migrate进行迁移的时候会有如下错误：

  1935 migrate key esf_common_auth_code_18587656289
  (error) ERR Target instance replied with error: ERR DUMP payload version or checksum are wrong

• 如果源实例与目标实例版本不相同，使用dump进行迁移的时候会有如下错误

  (error) ERR DUMP payload version or checksum are wrong

• 如果源实例与目标实例版本不相同,直接复制rdbw文件搭建从库为有如下报错

  5453:S 23 Nov 18:13:14.153 * MASTER <-> SLAVE sync: Flushing old data
  5453:S 23 Nov 18:13:14.153 * MASTER <-> SLAVE sync: Loading DB in memory
  5453:S 23 Nov 18:13:14.153 # Can't handle RDB format version 8
  5453:S 23 Nov 18:13:14.153 # Failed trying to load the MASTER synchronization DB from disk

2.2.2 可行方案

1. 开启源实例aof持久化功能

   config set appendonly yes

2. 手动进行aof持久化

   bgrewriteaof

3. 新建一个redis实例，与目标实例版本相同并启动

4. 将源实例的redis的aof文件导入新建实例

   redis-cli -h 127.0.0.1 -p 6395 -a password --pipe < appendonly.aof

5. 通过dump或者migrate的方式将新实例的key迁移到目标实例

相关资源：Redis数据导入导出以及数据迁移的4种方法详解_redis导出数据txt...

redis数据迁移_weixin_34320724的博客-CSDN博客
redis数据库迁移只需一条命令_Rouemm的博客-CSDN博客_阿里云redis迁移
redis 获取不到_你不知道的redis：第三方jar无封装命令我们该怎么执行？_李奇诺的博客-CSDN博客
the input device is not a TTY_一篮小土的博客-CSDN博客