django连接redis集群问题排查思路和总结

问题背景

• Django项目第一次发布到生产环境，启动后发现连不上Redis集群。
• 测试环境的redis集群没有密码，导致测试环境生产的配置格式会有差异
• 生产环境使用的redis配置，之前没人验证过，不知道是单机还是集群
• 生产环境redis的密码中特殊符合@，同事说可能会Django Cache配置的URI切割符号冲突，他之前在celery broker_url配置时就遇到这个坑。

排查思路

• 测试环境和生产环境的配置不一样，因此要格外小心，生产环境配置不能照抄测试环境的
• 优先使用官方redis-cli确定redis是集群还是客户端，再去修改代码相关的配置
• 本地无法连接生产环境，因为需要通过跳板机登录上去生产环境，直接利用Django shell调试，而不每次修改代码后重新提交，然后构建。
• 出问题时，优先怀疑自己的代码问题，而不是找框架本身的问题，尤其是Django这种大框架。

排查过程

确认客户端类型

• 做一个最简单的set命令测试，直接报错。

rhea-flaskapi-live-sg(sg2|10.xxx:40681)@/workspace$ redis-cli -h redis.xxx.shopee.io -p 10010 -a xxxx@123
redis.xxx.shopee.io:10010> set a 123
(error) MOVED 15495 10.xxx.104:10011

• 经过搜索引擎查询，确认这个redis是集群，集群的连接命令是redis-cli -c -h 连接地址 -p 端口 -a 密码 上面的命令少了-c参数

启动Django Shell连接redis

from django_redis import get_redis_connection
conn = get_redis_connection()

直接就一个连接失败

D0F23F45D43E899E71F1B54B84571D04

image-20211130111929339

确认账号密码和端口没问题后，问题同事配置有没验证过，他说直接从网上cv的，完全没经过验证。坑啊！！！

修改配置后重新测试

把生产的配置和测试配置比较好，修改了几个地方

• LOCATION从str改成List[str]，加上默认db,也就是[ f'redis://{DEFAULT_REDIS_URL}:{DEFAULT_REDIS_PORT}/0']
• REDIS_CLIENT_CLASS': 'rediscluster.RedisCluster 这个集群连接需要的客户端
• 连接池配置改成'CONNECTION_POOL_CLASS': 'rediscluster.connection.ClusterConnectionPool'

信心满满，重启启动django shell测试，结果还是连接上不！这时候心情开始有点糟糕~

冷静，django shell不行，那用python shell直连试试？

Python Shell直连redis

image-20211130113526742

一点毛病都没有，直接连上了！

一脸懵逼，这到底是啥问题啊！

不死心，反复修改配置，测试Django Shell连接Redis

结果依然是连接不上。

下班回家过程中的思考

不知不觉已经到了晚上九点，好累，不想卷了。下班回家吧

回家路上整个脑子都被这个问题困扰着。难道密码中含有@符号的redis集群，Django真的连接不上？反复的问自己。

问了其他同事，生产环境是否有其他的redis集群可以用来调试。很遗憾，并没有。

要不，我自己创建一个redis集群，把密码设置成含有@符号？

可是，自己本地创建redis集群好麻烦啊。要本地安装虚拟机，想到一堆配置就直接劝退。

回到家后的纠结

洗完澡，和老婆聊了1h左右的视频。已经到11点多，准备睡觉？

那是不可能的，带着问题是很难入睡！哎，这个是老毛病了。

突然想到了一个点，最小试错原则。自己搭建本地集群很麻烦，公司又没有多余的集群。

那直接买一个云版的redis集群？说干就干，直接从床上起来，打开电脑。

最小试错原则，买云Redis集群，而不是自己搭建

这时问题又来了，阿里云还是腾讯云？

鉴于双11买了腾讯云2c 4g 8m的服务器，只要199就能3年。

再对比之前买阿里云那个1c 2g 1m服务器，3年也要100多。

瞬间对腾讯云好感倍增，决定先买腾讯云。

买腾讯云redis集群

一顿操作，发现腾讯云是真的难用：

• 购买页面选好配置好，提交后，因为我没有余额，提示我充值。等我充值完，结果之前选择的配置没了，只好重新选择。
• redis集群没有重启功能？？？
• 设置安全组时，只能在安全组的页面绑定实例；在实例页面无法绑定安全组。

最最最重要，给把实例绑定了安全组后，外网还是无法访问？？？（不管了，反正我就是很生气）

买阿里云redis集群

对腾讯云太失望了，不得不把最后一根稻草压在阿里云身上。

所幸，阿里云没有让我失望！

咔咔咔，一顿操作：

• 创建实例，这点阿里云是比腾讯云慢很多，大概要7min左右（纯感觉）

• 配置外网访问，很方便。这操作逻辑简直是秒杀腾讯云。

  image-20211130120920961

• 配置白名单，redis-cli连接测试，成功通过！

  image-20211130121327756

• 修改配置，启动Django shell测试。

• image-20211130121629842

image-20211130121524863

密码中含有@符号，但连接一点毛病都没有！！！

至此，问题终于解决了！！！

我已经迫不及待明天去公司验证，但回过头一看，已经是深夜一点半。

自言自语的说了一句："睡吧，卷王"

第二天去公司验证

rhea-flaskapi-live-sg(sg2|xxxx:26863)@/workspace$ python3.8 manage.py shell --settings=rhea.settings.prod
rhea.settings.prod
Python 3.8.7 (default, Oct  1 2021, 14:58:33)
[GCC 5.4.0 20160609] on linux
Type "help", "copyright", "credits" or "license" for more information.
(InteractiveConsole)
>>> from django_redis import get_redis_connection
>>> conn = get_redis_connection()
>>>>conn.get("rhea:access_token:abc")
'[email protected]'

经过对比，发现配置只需要生产的配置仅需要在测试的配置上加多一个:

image-20211130131601844

修复最磨人的bug，往往仅需要一点小小的改动~

为什么测试环境没报错了呢？？？

因为测试环境的redis集群不需要密码

总结

• 一切没经过自己验证的代码，一定要谨慎使用

• 最小试错原则。想验证一件事情时，尽量使用最小的成本去验证

• 生产和测试环境尽量保持配置相同