redis和sqlserver数据同步_SQLSERVER大批量数据快速导入Redis

目的

把单表近5千万的某单个字段导入到Redis，作为一个list存储。

方案一： 使用sqlcmd工具(sqlserver自带)，直接生成命令在Redis-cli中执行。

方案一. 使用sqlcmd把打印结果输出在文本中，然后用redis-cli逐行执行文本中的命令。

redis写入list的命令。

LPUSH openids xxxx

用sqlserver拼接处这个结果

SET NOCOUNT ON;

SELECT 'LPUSH openids ' +'"' + openID +'"'

FROM [dbo].[table1]

使用sqlcmd，推送到redis-cli执行

# -S：服务器地址，-U:账号名 -P:密码 -d:数据库 -h:列标题之间打印的行数

sqlcmd -S . -U sa -P xxxx -d DataImport -h -1 -i d:\openid.sql | redis-cli -h 192.168.xx.xx -a xxxx -p 6379

结论

能勉强成功。

导入速度慢，大概2w/s ~ 3w/s。远低于Redis的写入理想值。

容易出错，如果value中含有意外字符，会导致命令执行失败，结束任务。

别用这个方法。

官网支撑：

Redis is a TCP server using the client-server model and what is called a Request/Response protocol.

This means that