redis从海量的key里面查询出某一固定前缀的key

生成海量数据

1.Linux Bash下面执行(一定要是Bash)

for((i=1;i<=20000000;i++)); do echo "set k$i v$i" >> /tmp/redisTest.txt ;done;

生成2千万条redis批量设置kv的语句(key=kn,value=vn)写入到/tmp目录下的redisTest.txt文件中

2.用vim去掉行尾的^M符号，使用方式如下：：
vim /tmp/redisTest.txt
:set fileformat=dos #设置文件的格式，通过这句话去掉每行结尾的^M符号
::wq #保存退出
3…通过redis提供的管道–pipe形式，去跑redis，传入文件的指令批量灌数据，需要花10分钟左右

cat /tmp/redisTest.txt | redis-cli -h [主机ip] -p [端口号] -a [密码] --pipe

使用keys pattern

使用keys对上线业务的影响

• 明确数据规模
• keys指令一次性返回所有匹配的key
• 键的数量过大会使得服务卡顿

当前redis数据库的数据量

127.0.0.1:6380> dbsize
(integer) 1901534

匹配测试

keys k1*
(3.55s)   #用时3.0+s,个人pc性能不同

---

使用scan

语法
scan cursor [MATCH pattern] [COUNT count]

scan介绍

• 基于游标的迭代器,需要基于上一次游标延续之前的迭代过程
• 以0作为游标开始一次新的迭代,直到命令返回游标0完成一次遍历
• 不保证每次执行都会返回某个给定数量的元素,支持模糊查询
• 一次返回的数量不可控,只能是大概率符合count参数

示例

127.0.0.1:6380> scan 0 match k1* count 10
1) "655360"
2) 1) "k1864385"
   2) "k1392840"
   3) "k1388130"
   4) "k1357007"
   5) "k1743332"
   6) "k1593973"
   7) "k1399047"
127.0.0.1:6380> scan 655360 match k1* count 10
1) "327680"
2) 1) "k1610178"
   2) "k1693505"
   3) "k1032175"
   4) "k1721788"
   5) "k1678140"
   6) "k1359412"
127.0.0.1:6380> scan 327680 match k1* count 10
1) "2031616"
2) 1) "k1798037"
   2) "k1805785"
   3) "k1837836"
   4) "k1138914"
   5) "k1689917"
   6) "k1033258"

tips:

• 游标的大小不是固定的,非递增或递减.
• count指定返回数据量不是一定的,只是大体符合
• scan命令获取到的key有可能是重复的,可以利用Java的Set进行去重操作

---

小结:从海量的key里面查询出某一固定前缀的key的时候,第一,要注意数据量,第二,在使用keys命令的时候会一次性返回所有的keys会造成卡顿,而使用scan命令的时候要注意去重和获取上一次的游标

参考课程:https://coding.imooc.com/class/303.html