Django连接Redis集群问题排查思路和总结
wptr33 2024-12-25 16:02 17 浏览
问题背景
- Django 项目第一次发布到生产环境,启动后发现连不上 Redis 集群。
- 测试环境的 redis 集群没有密码,导致测试环境生产的配置格式会有差异
- 生产环境使用的 redis 配置,之前没人验证过,不知道是单机还是集群
- 生产环境 redis 的密码中特殊符合 @,同事说可能会 Django Cache 配置的 URI 切割符号冲突,他之前在 celery broker_url 配置时就遇到这个坑。
排查思路
- 测试环境和生产环境的配置不一样,因此要格外小心,生产环境配置不能照抄测试环境的
- 优先使用官方 redis-cli 确定 redis 是集群还是客户端,再去修改代码相关的配置
- 本地无法连接生产环境,因为需要通过跳板机登录上去生产环境,直接利用 Django shell 调试,而不每次修改代码后重新提交,然后构建。
- 出问题时,优先怀疑自己的代码问题,而不是找框架本身的问题,尤其是 Django 这种大框架。
排查过程
确认客户端类型
- 做一个最简单的 set 命令测试,直接报错。
rhea-flaskapi-live-sg(sg2|10.xxx:40681)@/workspace$ redis-cli -h redis.xxx.shopee.io -p 10010 -a xxxx@123
redis.xxx.shopee.io:10010> set a 123
(error) MOVED 15495 10.xxx.104:10011
- 经过搜索引擎查询,确认这个 redis 是集群,集群的连接命令是 redis-cli -c -h 连接地址 -p 端口 -a 密码 上面的命令少了 -c 参数
启动 Django Shell 连接 redis
from django_redis import get_redis_connection
conn = get_redis_connection()
直接就一个连接失败
确认账号密码和端口没问题后,问题同事配置有没验证过,他说直接从网上 cv 的,完全没经过验证。坑啊!!!
修改配置后重新测试
把生产的配置和测试配置比较好,修改了几个地方
- LOCATION 从 str 改成 List[str] ,加上默认 db ,也就是 [ f'redis://{DEFAULT_REDIS_URL}:{DEFAULT_REDIS_PORT}/0']
- REDIS_CLIENT_CLASS': 'rediscluster.RedisCluster 这个集群连接需要的客户端
- 连接池配置改成 'CONNECTION_POOL_CLASS': 'rediscluster.connection.ClusterConnectionPool'
信心满满,重启启动 django shell 测试,结果还是连接不上!这时候心情开始有点糟糕~
冷静, django shell 不行,那用 python shell 直连试试?
Python Shell 直连 redis
一点毛病都没有,直接连上了!
一脸懵逼,这到底是啥问题啊!
不死心,反复修改配置,测试 Django Shell 连接 Redis
结果依然是连接不上。
下班回家过程中的思考
不知不觉已经到了晚上九点,好累,不想卷了。下班回家吧
回家路上整个脑子都被这个问题困扰着。难道密码中含有 @ 符号的 redis 集群,Django 真的连接不上?反复的问自己。
问了其他同事,生产环境是否有其他的 redis 集群可以用来调试。很遗憾,并没有。
要不,我自己创建一个 redis 集群,把密码设置成含有 @ 符号?
可是,自己本地创建 redis 集群好麻烦啊。要本地安装虚拟机,想到一堆配置就直接劝退。
回到家后的纠结
洗完澡,和老婆聊了 1h 左右的视频。已经到 11 点多,准备睡觉?
那是不可能的,带着问题是很难入睡!哎,这个是老毛病了。
突然想到了一个点,最小试错原则。自己搭建本地集群很麻烦,公司又没有多余的集群。
那直接买一个云版的 redis 集群?说干就干,直接从床上起来,打开电脑。
最小试错原则,买云 Redis 集群,而不是自己搭建
这时问题又来了,阿里云还是腾讯云?
鉴于双 11 买了腾讯云 2c 4g 8m 的服务器,只要 199 就能 3 年。
再对比之前买阿里云那个 1c 2g 1m 服务器,3 年也要 100 多。
瞬间对腾讯云好感倍增,决定先买腾讯云。
买腾讯云 redis 集群
一顿操作,发现腾讯云是真的难用:
- 购买页面选好配置好,提交后,因为我没有余额,提示我充值。等我充值完,结果之前选择的配置没了,只好重新选择。
- redis 集群没有重启功能???
- 设置安全组时,只能在安全组的页面绑定实例;在实例页面无法绑定安全组。
最最最重要,给把实例绑定了安全组后,外网还是无法访问???(不管了,反正我就是很生气)
买阿里云 redis 集群
对腾讯云太失望了,不得不把最后一根稻草压在阿里云身上。
所幸,阿里云没有让我失望!
咔咔咔,一顿操作:
- 创建实例,这点阿里云是比腾讯云慢很多,大概要 7min 左右(纯感觉)
- 配置外网访问,很方便。这操作逻辑简直是秒杀腾讯云。
- 配置白名单,redis-cli 连接测试,成功通过!
- 修改配置,启动 Django shell 测试。
密码中含有 @ 符号,但连接一点毛病都没有!!!
至此,问题终于解决了!!!
我已经迫不及待明天去公司验证,但回过头一看,已经是深夜一点半。
自言自语的说了一句:"睡吧,卷王"
第二天去公司验证
rhea-flaskapi-live-sg(sg2|xxxx:26863)@/workspace$ python3.8 manage.py shell --settings=rhea.settings.prod
rhea.settings.prod
Python 3.8.7 (default, Oct 1 2021, 14:58:33)
[GCC 5.4.0 20160609] on linux
Type "help", "copyright", "credits" or "license" for more information.
(InteractiveConsole)
>>> from django_redis import get_redis_connection
>>> conn = get_redis_connection()
>>>>conn.get("rhea:access_token:abc")
'huacai.li@shopee.com'
经过对比,发现配置只需要生产的配置仅需要在测试的配置上加多一个 :
修复最磨人的 bug,往往仅需要一点小小的改动~
为什么测试环境没报错了呢???
因为测试环境的 redis 集群不需要密码
总结
- 一切没经过自己验证的代码,一定要谨慎使用
- 最小试错原则。想验证一件事情时,尽量使用最小的成本去验证
- 生产和测试环境尽量保持配置相同
相关推荐
- Python自动化脚本应用与示例(python办公自动化脚本)
-
Python是编写自动化脚本的绝佳选择,因其语法简洁、库丰富且跨平台兼容性强。以下是Python自动化脚本的常见应用场景及示例,帮助你快速上手:一、常见自动化场景文件与目录操作...
- Python文件操作常用库高级应用教程
-
本文是在前面《Python文件操作常用库使用教程》的基础上,进一步学习Python文件操作库的高级应用。一、高级文件系统监控1.1watchdog库-实时文件系统监控安装与基本使用:...
- Python办公自动化系列篇之六:文件系统与操作系统任务
-
作为高效办公自动化领域的主流编程语言,Python凭借其优雅的语法结构、完善的技术生态及成熟的第三方工具库集合,已成为企业数字化转型过程中提升运营效率的理想选择。该语言在结构化数据处理、自动化文档生成...
- 14《Python 办公自动化教程》os 模块操作文件与文件夹
-
在日常工作中,我们经常会和文件、文件夹打交道,比如将服务器上指定目录下文件进行归档,或将爬虫爬取的数据根据时间创建对应的文件夹/文件,如果这些还依靠手动来进行操作,无疑是费时费力的,这时候Pyt...
- python中os模块详解(python os.path模块)
-
os模块是Python标准库中的一个模块,它提供了与操作系统交互的方法。使用os模块可以方便地执行许多常见的系统任务,如文件和目录操作、进程管理、环境变量管理等。下面是os模块中一些常用的函数和方法:...
- 21-Python-文件操作(python文件的操作步骤)
-
在Python中,文件操作是非常重要的一部分,它允许我们读取、写入和修改文件。下面将详细讲解Python文件操作的各个方面,并给出相应的示例。1-打开文件...
- 轻松玩转Python文件操作:移动、删除
-
哈喽,大家好,我是木头左!Python文件操作基础在处理计算机文件时,经常需要执行如移动和删除等基本操作。Python提供了一些内置的库来帮助完成这些任务,其中最常用的就是os模块和shutil模块。...
- Python 初学者练习:删除文件和文件夹
-
在本教程中,你将学习如何在Python中删除文件和文件夹。使用os.remove()函数删除文件...
- 引人遐想,用 Python 获取你想要的“某个人”摄像头照片
-
仅用来学习,希望给你们有提供到学习上的作用。1.安装库需要安装python3.5以上版本,在官网下载即可。然后安装库opencv-python,安装方式为打开终端输入命令行。...
- Python如何使用临时文件和目录(python目录下文件)
-
在某些项目中,有时候会有大量的临时数据,比如各种日志,这时候我们要做数据分析,并把最后的结果储存起来,这些大量的临时数据如果常驻内存,将消耗大量内存资源,我们可以使用临时文件,存储这些临时数据。使用标...
- Linux 下海量文件删除方法效率对比,最慢的竟然是 rm
-
Linux下海量文件删除方法效率对比,本次参赛选手一共6位,分别是:rm、find、findwithdelete、rsync、Python、Perl.首先建立50万个文件$testfor...
- Python 开发工程师必会的 5 个系统命令操作库
-
当我们需要编写自动化脚本、部署工具、监控程序时,熟练操作系统命令几乎是必备技能。今天就来聊聊我在实际项目中高频使用的5个系统命令操作库,这些可都是能让你效率翻倍的"瑞士军刀"。一...
- Python常用文件操作库使用详解(python文件操作选项)
-
Python生态系统提供了丰富的文件操作库,可以处理各种复杂的文件操作需求。本教程将介绍Python中最常用的文件操作库及其实际应用。一、标准库核心模块1.1os模块-操作系统接口主要功能...
- 11. 文件与IO操作(文件io和网络io)
-
本章深入探讨Go语言文件处理与IO操作的核心技术,结合高性能实践与安全规范,提供企业级解决方案。11.1文件读写11.1.1基础操作...
- Python os模块的20个应用实例(python中 import os模块用法)
-
在Python中,...
- 一周热门
-
-
C# 13 和 .NET 9 全知道 :13 使用 ASP.NET Core 构建网站 (1)
-
因果推断Matching方式实现代码 因果推断模型
-
git pull命令使用实例 git pull--rebase
-
面试官:git pull是哪两个指令的组合?
-
git 执行pull错误如何撤销 git pull fail
-
git pull 和git fetch 命令分别有什么作用?二者有什么区别?
-
git fetch 和git pull 的异同 git中fetch和pull的区别
-
git pull 之后本地代码被覆盖 解决方案
-
还可以这样玩?Git基本原理及各种骚操作,涨知识了
-
git命令之pull git.pull
-
- 最近发表
- 标签列表
-
- git pull (33)
- git fetch (35)
- mysql insert (35)
- mysql distinct (37)
- concat_ws (36)
- java continue (36)
- jenkins官网 (37)
- mysql 子查询 (37)
- python元组 (33)
- mybatis 分页 (35)
- vba split (37)
- redis watch (34)
- python list sort (37)
- nvarchar2 (34)
- mysql not null (36)
- hmset (35)
- python telnet (35)
- python readlines() 方法 (36)
- munmap (35)
- docker network create (35)
- redis 集合 (37)
- python sftp (37)
- setpriority (34)
- c语言 switch (34)
- git commit (34)