优化redis key 迁移程序(云原生版本)

优化redis key 迁移程序

问题

问题: Key迁移本地跑超过30mins

共:1264笔, 迁移总共花费6.323 s

共:3374笔, 迁移总共花费5.459 s

可优化点:

1、放在服务器上执行

需要搭建python3环境 + 相关依赖 -> docker解决

Ø 寻找基础镜像

Ø 开发dokcer File

Ø 构建镜像

Ø 测试效能

2、自动切分index数量，多支job来迁移

例如3500个index，每500行切分一个文件对应一个python job处理。

每个文件多少行根据传入的参数决定.

如何用docker 跑多个python job？

迁移程序的Dockerfile

前置准备：

1、将要迁移的key先写入文件

2、先切分文件，按照100/500行切分

# -d：使用数字作为后缀。
#-l：值为每一输出档的行数大小。
#-a：指定后缀长度(默认为2)。
split -l 100 fl-key.txt -d -a 3 fl100