详细介绍一下Redis主从复制的实现原理是什么?
wptr33 2025-01-05 20:31 17 浏览
Redis的主从复制(Replication)是一种用来实现数据高可用和分布式读扩展的机制,在整个的主从复制结构中,包括了主节点(Master)主要负责处理所有的写操作,节点(Slave)则是与主节点保持数据同步,然后提供了数据的只读服务。通过这种方式可以在多个Redis节点之间实现数据的复制,从而实现高可用性和负载均衡。
下面详细介绍 Redis主从复制的工作原理和实现机制。
主从复制的基本流程
Redis主从复制主要分为三个阶段建立连接阶段、全量同步阶段、增量同步阶段。下面就来详细介绍一下。
建立连接阶段
从节点启动的时候,会发送PSYNC命令请求与主节点建立同步连接,这个时候,会出现如下的两种情况。
- 如果从节点是第一次与主节点建立连接,或者主节点与从节点断开连接一段时间,从节点的复制偏移量已失效,则进行全量同步。
- 如果从节点有部分数据是最新的(基于复制偏移量),主节点只需要发送自上次同步之后的命令,这种情况就叫增量同步。
全量同步阶段
如果从节点与主节点的连接是初次建立或者数据不同步,需要进行全量同步,则可以通过如下的步骤来进行数据的同步。
- 第一步:主节点会将当前的内存数据以RDB文件的形式进行持久化快照。RDB文件是Redis用于保存全量数据的文件格式。
- 第二步:创建快照后,主节点会将RDB文件发送给从节点。传输过程中,主节点会将客户端的写操作暂时缓存到内存中。
- 第三步:从节点接收到RDB文件后,会清除现有的数据集,并将RDB文件中的内容重新加载到内存中。
- 第四步:在RDB文件传输的过程中,主节点可能还会收到新的写命令,主节点会将这些命令保存在内存缓存中(称为 replication buffer),等RDB文件传输完毕后再发送这些缓存的命令。
- 第五步:RDB加载完成后,从节点会继续接收和执行主节点在全量同步期间缓冲的命令,以此保证数据的一致性。
增量同步阶段
全量同步完成后,主节点和从节点进入增量同步阶段,如下所示。
- 主节点对所有收到的写命令进行日志记录(称为 Replication Log),并将这些写操作通过REPLCONF ACK机制发送给所有从节点。
- 从节点收到写命令后,按照顺序执行,确保数据一致性。
主节点的写操作流向
- 主节点执行写操作(set、del 等)后,会将该命令保存到Replication Log中,同时发送给从节点。
- 从节点会持续发送 REPLCONF ACK命令,向主节点确认数据已同步。
主从复制的内部细节
复制偏移量
Redis 使用全局的复制偏移量(Replication Offset)来实现增量同步和部分重同步的机制主节点会为每个发送给从节点的命令维护一个全局递增的复制偏移量,从节点也会跟踪其当前已同步的偏移量。
主从节点可以通过偏移量判断数据是否需要进行增量同步。如果从节点的偏移量与主节点不一致,主节点可以将缺失的命令发送给从节点,完成增量同步。
部分重同步
如果从节点与主节点短暂断开连接,例如出现了网络波动。Redis 会尝试部分重同步(Partial Resynchronization)Redis 通过复制积压缓冲区(Replication Backlog)来支持部分重同步。主节点会维护一个固定长度的循环缓冲区,存储最近的写命令。如果从节点在短时间内重新连接且缺失的数据还在缓冲区内,则可以通过增量数据完成同步,避免全量同步的开销。
心跳机制
Redis 使用心跳机制来确保主从节点之间的连接状态和数据同步的健康心跳机制不仅用于监控连接状态,还用于在主从节点之间校准偏移量,确保数据同步。
主从复制的特性和优势
通过配置从节点,可以将读操作分发给从节点,而所有的写操作依然由主节点处理。这种方式实现了读写分离,减轻了主节点的负载压力,增强了系统的扩展性和可用性。
Redis 的主从复制为系统提供了基础的高可用性方案。在主节点宕机时,从节点可以继续提供只读服务,或者通过手动或自动的主从切换(Failover),将从节点提升为新的主节点,继续处理读写操作。
主从复制中的常见问题
从节点的复制是异步的,主节点将写操作发送给从节点,而不会等待从节点确认。所以,在高负载或网络延迟的情况下,可能会出现从节点数据滞后的情况。这种延迟通常是短暂的,但在某些场景下(如主从切换),可能导致数据丢失。
Redis 也支持半同步复制(Semi-Synchronous Replication),可以通过配置参数min-slaves-to-write和min-slaves-max-lag来要求主节点在进行写操作前,确保至少有N个从节点同步成功,以减少数据丢失的风险。
在主从复制的过程中,如果主节点在写入数据后立即崩溃,而从节点尚未收到最新的写命令,可能会导致数据丢失。通过Redis Sentinel或Cluster的主从切换,可以尽量减少这种情况的发生。
由于Redis的复制是异步的,如果主从节点间的复制延迟较大,在主从切换时可能导致数据不一致问题。因此,在某些关键场景下,需要额外的机制(如半同步复制或 Redis Sentinel)来保障一致性。
总结
Redis 主从复制通过全量同步、增量同步和部分重同步等机制,提供了一种高效、灵活的分布式数据复制方案。其核心机制包括复制偏移量、复制积压缓冲区和心跳机制等,使得主从节点可以保持一致性和数据同步。主从复制支持读写分离、提高了系统的扩展性和可用性,也为高可用的 Redis 集群解决方案(如 Redis Sentinel 和 Redis Cluster)奠定了基础。
- 上一篇:redis工作模式以及工作原理分析
- 下一篇:什么时候你应该使用redis来实现锁
相关推荐
- 一篇文章带你了解PHP的学习使用(php的教程)
-
ThinkPHP5实战...
- 在memcached管理php的session(memcached libevent)
-
PHP的session(会话管理)一般是以文件形式进行,而在多个Web服务器之间进行session管理时memecached会比文件管理方式更加方便。在这里介绍如何使用memcached管理PHP的s...
- php传值和传引用的区别(php 传值和传引用)
-
php传值:在函数范围内,改变变量值得大小,都不会影响到函数外边的变量值。PHP传引用:在函数范围内,对值的任何改变,在函数外部也有所体现,因为传引用传的是内存地址。传值:和copy是一样的。【打个比...
- PHP 常量详解教程(php常量和变量)
-
常量类似变量,但是常量一旦被定义就无法更改或撤销定义。PHP常量常量是单个值的标识符(名称)。在脚本中无法改变该值。有效的常量名以字符或下划线开头(常量名称前面没有$符号)。注释:与变量不同,常...
- php自学零基础入门小知识(php新手入门教程)
-
我们就把PHP入门当成一个苹果吧!一口一口的吃掉他!不啰嗦了!开始了1、嵌入方法:类似ASP的<%,PHP可以是<?php或者是<?,结束符号是?>,当然您也可以自己指定。2、...
- PHP 语法详解(php语法大全)
-
PHP脚本在服务器上执行,然后向浏览器发送回纯HTML结果。基础PHP语法PHP脚本可放置于文档中的任何位置。PHP脚本以<?php开头,以?>结尾:<?php...
- PHP笔记(一)PHP基础知识(php必背知识点)
-
创建PHP程序PHP代码框架<?php>2.文件命名规则...
- PHP 8新特性之Attributes(注解),你掌握了吗?
-
PHP8的Alpha版本,过几天就要发布了,其中包含了不少的新特性,当然我自己认为最重要的还是JIT,这个我从2013年开始参与,中间挫折无数,失败无数后,终于要发布的东东。不过,今天呢,我不打算谈J...
- PHP基本语法之标记与注释(php注释规范)
-
1、标记由于PHP是嵌入式脚本语言,它在实际开发中经常会与HTML内容混在一起,所以为了区分HTML与PHP代码,需要使用标记对PHP代码进行标识。如:<html>...
- php注解(PHP注解 性能)
-
目标了解和使用php注解,如果你已经掌握其他一种具有注解的语言,例如:java、python等,你在本文中只需要了解点语法就行。示例php8以前的版本,注解写在注释里,如果你掌握其他语言的注解,你是不...
- 数据丢失?别慌!MySQL备份恢复攻略
-
想象一下,某个晴朗的午后,你正享受着咖啡,突然接到紧急电话:你的网站或APP彻底挂了!系统崩溃,界面全白。虽然心头一紧,但你或许还能安慰自己:系统崩溃只是暂停服务,数据还在,修复修复就好了。然而,如果...
- MySQL 日志:undo log、redo log、binlog
-
今天来和大家分享MySQL的三个日志文件,可以说MySQL的多数特性都是围绕日志文件实现,而其中最重要的有以下三种:...
- MySQL三大日志:binlog、redolog、undolog全解析
-
binlog概述在MySQL数据库中,binlog可是个相当重要的存在,它的全称为binarylog,也就是二进制日志。它就像是数据库的“记忆本”,记录了所有的DDL(数据定义语言)和...
- 1、MySQL数据库介绍(mysql数据库简单介绍)
-
1.1数据库的核心定义数据库的本质数据库乃存储数据对象之容器,涵盖如下关键组件:表(Table)...
- MySQL 日志双雄:实时监控与历史归档实战优化
-
MySQL日志双雄:实时监控+历史归档实战用这招让你家日志系统再也不卡不爆炸MySQL十亿级日志处理:从洪峰到归档全攻略手把手教你用MySQL搞定ELK级日志监控在微服务架构大行其道的今天,日志系统早...
- 一周热门
-
-
C# 13 和 .NET 9 全知道 :13 使用 ASP.NET Core 构建网站 (1)
-
因果推断Matching方式实现代码 因果推断模型
-
git pull命令使用实例 git pull--rebase
-
面试官:git pull是哪两个指令的组合?
-
git 执行pull错误如何撤销 git pull fail
-
git pull 和git fetch 命令分别有什么作用?二者有什么区别?
-
git fetch 和git pull 的异同 git中fetch和pull的区别
-
git pull 之后本地代码被覆盖 解决方案
-
还可以这样玩?Git基本原理及各种骚操作,涨知识了
-
git命令之pull git.pull
-
- 最近发表
- 标签列表
-
- git pull (33)
- git fetch (35)
- mysql insert (35)
- mysql distinct (37)
- concat_ws (36)
- java continue (36)
- jenkins官网 (37)
- mysql 子查询 (37)
- python元组 (33)
- mybatis 分页 (35)
- vba split (37)
- redis watch (34)
- python list sort (37)
- nvarchar2 (34)
- mysql not null (36)
- hmset (35)
- python telnet (35)
- python readlines() 方法 (36)
- munmap (35)
- docker network create (35)
- redis 集合 (37)
- python sftp (37)
- setpriority (34)
- c语言 switch (34)
- git commit (34)