当前位置：网站首页 > IT技术 > 正文

高计算性能redis集群方案（高计算性能redis集群方案怎么写）

wptr33 2025-02-03 15:30 53 浏览

高计算性能redis集群方案

背景

为更好的支撑数据对账功能的实现，复用redis的数据集合diff功能，对redis集群进行如下调整和优化。

节点变化

采用redis-cluster模式搭建六个主节点的集群(三台虚拟机，每台共64G内存)，每个节点分配内存20 G，集群总内存120G，CPU XX 核。由于该集群只用于数据的计算，对于读写分离的需求可忽略不计，所以不需要建设从节点。

参数调整

appendonly：yes # 开启AOF持久化
Appendsync：no#调用 fsync 函数，将缓冲区里面的命令写入到硬盘。
# save 3600 1
# save 300 100
# save 60 10000
save ""

如果集群发生异常，只需要程序重新写入即可，无需要恢复原有数据等内容，为了保证集群使用率最高，将持久化的AOF和RDF模式均改为关闭状态。如此一来，原单个redis节点最多使用内存为该机器的50%即可忽略，理论上可以提高到该机器的95%内存使用率。

代码编写

对两个集合进行差异化对比操作，传统的代码编写方式为

redisTemplate.opsForValue().set(“list1”,“list2”);
redisTemplate.opsForValue().differenceAndStore(“list1”,“list2”,”list3”);
Set result =redisTemplate.opsForValue().members(“list3);

对于上述操作，可以将助lua脚本上传到redis服务器，让它在redis服务器上执行。因为脚本读写数据都是在服务器的本地内存，所以执行很高效。使用lua脚本来执行redis命令，有两个好处，也可以说是使用它的出发点：

高效。由于lua在服务器本地执行，省去了数据在网络上传输的开销。例如，将两个set求交集后的结果保存到新的set。

原子性。整个lua脚本和普通的单个redis命令一样，具有原子性。如果逻辑比较复杂，需要使用多条redis命令完成，而且又需要保证整个逻辑的原子性。lua脚本是不二选择。（与数据库事务的原子性不同，lua脚本不会回滚出错之前的写入）

参照：https://zhuanlan.zhihu.com/p/630484173

redis 集合

上一篇：一文理解Redis底层数据结构（redis底层数据类型）
下一篇：Spring Boot 整合 Redis（spring boot整合redis(单机+集群)）

高计算性能redis集群方案（高计算性能redis集群方案怎么写）

背景

节点变化

参数调整

代码编写

相关推荐

C# 13 和 .NET 9 全知道 :13 使用 ASP.NET Core 构建网站 (1)

因果推断Matching方式实现代码因果推断模型

git pull命令使用实例 git pull--rebase

git pull 和git fetch 命令分别有什么作用?二者有什么区别?

面试官:git pull是哪两个指令的组合?

git 执行pull错误如何撤销 git pull fail

git fetch 和git pull 的异同 git中fetch和pull的区别

git pull 之后本地代码被覆盖解决方案

还可以这样玩?Git基本原理及各种骚操作，涨知识了

git命令之pull git.pull

高计算性能redis集群方案（高计算性能redis集群方案怎么写）

背景

节点变化

参数调整

代码编写

相关推荐

C# 13 和 .NET 9 全知道 :13 使用 ASP.NET Core 构建网站 (1)

因果推断Matching方式实现代码 因果推断模型

git pull命令使用实例 git pull--rebase

git pull 和git fetch 命令分别有什么作用?二者有什么区别?

面试官:git pull是哪两个指令的组合?

git 执行pull错误如何撤销 git pull fail

git fetch 和git pull 的异同 git中fetch和pull的区别

git pull 之后本地代码被覆盖 解决方案

还可以这样玩?Git基本原理及各种骚操作，涨知识了

git命令之pull git.pull

因果推断Matching方式实现代码因果推断模型

git pull 之后本地代码被覆盖解决方案