一文看懂Redisson分布式锁的Watchdog机制源码实现
wptr33 2024-12-22 21:12 79 浏览
一、 分布式锁简介
分布式锁是一种常见的协调分布式系统的机制,在分布式环境下保证数据的一致性和可用性。分布式锁的实现有很多种方式,其中较为常见的方式是利用Redis实现分布式锁。
在使用 Redis 实现分布式锁时,我们通常使用 SET key value [EX seconds] [NX] 命令来给某个 key 设置一个具有过期时间的值作为锁。其中 EX 参数表示设置过期时间,当 Redis 客户端连接断开或者达到过期时间时,锁会自动失效。但是,在一些特殊情况下,由于网络波动等原因,我们可能无法及时续期更新锁的过期时间,这会导致锁在没有被显式释放的情况下过期,从而引发并发问题。
Redisson 的看门狗就是为了解决这个问题而设计的。它会在获取锁之后启动一个后台任务定期地对锁进行“续期”,即更新锁的过期时间。具体来说,每次启动续期任务时,会通过 set(key, value, XX, PX, ttl) 命令更新锁的过期时间,同时记录该任务与锁的对应关系。在锁释放或过期时,会取消相应的续期任务,从而保证锁的有效性。
二、 Redisson分布式锁的看门狗源码分析
Redisson 的 RedissonLock 类主要通过下面五个方法实现Watchdog机制:
- tryAcquireAsync
- scheduleExpirationRenewal
- renewExpiration
- renewExpirationAsync
- cancelExpirationRenewal
下面讲解各个方法的源码片段
1. tryAcquireAsync
private <T> RFuture<Long> tryAcquireAsync(long leaseTime, TimeUnit unit, long threadId) {
// 如果设置了超时时间,调用 tryLockInnerAsync 方法尝试加锁并设置过期时间。
if (leaseTime != -1) {
return tryLockInnerAsync(leaseTime, unit, threadId, RedisCommands.EVAL_LONG);
}
// 否则仅获取锁,并返回剩余时间。
// 计算剩余过期时间
RFuture<Long> ttlRemainingFuture = tryLockInnerAsync(commandExecutor.getConnectionManager().getCfg().getLockWatchdogTimeout(),
TimeUnit.MILLISECONDS, threadId, RedisCommands.EVAL_LONG);
// 当获取剩余过期时间的异步操作完成后,判断是否获取到锁,如果获取到,开始定时任务自动续期
ttlRemainingFuture.onComplete((ttlRemaining, e) -> {
if (e != null) {
return;
}
// 如果返回值为 null 表示已经拥有锁
if (ttlRemaining == null) {
// 开始定期检查锁是否过期,如果没有过期则续期
scheduleExpirationRenewal(threadId);
}
});
return ttlRemainingFuture;
}
Redisson在lock方法执行时,会调用tryAcquireAsync方法获取锁,在获取到锁时,上面示例代码种会调用scheduleExpirationRenewal(threadId)方法,开启定时检查是否过期和自动续期的定时任务,这里其实就是看门狗机制的创建点。
2. scheduleExpirationRenewal
private void scheduleExpirationRenewal(long threadId) {
ExpirationEntry entry = new ExpirationEntry();
// 在 EXPIRATION_RENEWAL_MAP 中添加一个新的键值对,如果该键名已存在,则将 threadId 添加到该键名的队列中。
ExpirationEntry oldEntry = EXPIRATION_RENEWAL_MAP.putIfAbsent(getEntryName(), entry);
if (oldEntry != null) {
oldEntry.addThreadId(threadId);
} else { // 如果该键名不存在,则添加一个新的键值对,并执行 renewExpiration() 方法续约该锁的过期时间。
entry.addThreadId(threadId);
renewExpiration();
}
}
当一个线程获取到锁时,会调用 scheduleExpirationRenewal() 方法向 EXPIRATION_RENEWAL_MAP (ConcurrentHashMap 对象)中添加一个新的键值对,如果该键名已存在,则将 threadId 添加到该键名的队列中;否则,添加一个新的键值对,并调用 renewExpiration() 方法续约该锁的过期时间。
3. renewExpiration
private void renewExpiration() {
// 从 EXPIRATION_RENEWAL_MAP 中查找当前锁实例,并获取相应的 ExpirationEntry 对象。
ExpirationEntry ee = EXPIRATION_RENEWAL_MAP.get(getEntryName());
if (ee == null) {
return;
}
// 创建一个定时任务(Timeout),在线程持有该锁时执行续期操作。
Timeout task = commandExecutor.getConnectionManager().newTimeout(new TimerTask() {
@Override
public void run(Timeout timeout) throws Exception {
ExpirationEntry ent = EXPIRATION_RENEWAL_MAP.get(getEntryName());
if (ent == null) {
return;
}
Long threadId = ent.getFirstThreadId();
if (threadId == null) {
return;
}
// 异步更新锁的过期时间,并在操作完成后进行回调处理。
RFuture<Boolean> future = renewExpirationAsync(threadId);
future.onComplete((res, e) -> {
if (e != null) {
log.error("Can't update lock " + getName() + " expiration", e);
return;
}
// 如果续期成功,则重新安排定时任务
if (res) {
renewExpiration();
}
});
}
}, internalLockLeaseTime / 3, TimeUnit.MILLISECONDS); // 定时任务的间隔为锁到期时间的三分之一
// 将该定时任务存储在 ExpirationEntry 实体中,方便后续处理。
ee.setTimeout(task);
}
在该方法内部,首先通过 getEntryName() 获取当前锁实例的名称,然后从 EXPIRATION_RENEWAL_MAP 中查找该名称对应的 ExpirationEntry 对象。如果对象不存在,则直接返回即可;否则,创建一个新的定时任务,该任务会在 internalLockLeaseTime / 3 毫秒后执行,并尝试异步更新锁的过期时间。如果更新成功,则会再次调用 renewExpiration() 方法,以便持续延长锁的过期时间。这个定时任务通俗的讲就是所谓的看门狗。当然,这里更新过期时间的操作是通过调用 renewExpirationAsync() 实现的,它仍然是一个异步操作。
4. renewExpirationAsync
protected RFuture<Boolean> renewExpirationAsync(long threadId) {
// 使用 evalWriteAsync 方法执行 EVAL 命令
return commandExecutor.evalWriteAsync(getName(), LongCodec.INSTANCE, RedisCommands.EVAL_BOOLEAN,
// EVAL 命令的脚本,根据给定的键和参数进行判断和更新
"if (redis.call('hexists', KEYS[1], ARGV[2]) == 1) then " +
// 如果指定的键和参数都存在,则续约该键的过期时间
"redis.call('pexpire', KEYS[1], ARGV[1]); " +
// 并返回操作成功的标志
"return 1; " +
"end; " +
// 如果指定的键和参数不匹配,则返回操作失败的标志
"return 0;",
// EVAL 命令中用到的键
Collections.<Object>singletonList(getName()),
// 续约的过期时间,在 Redisson 中为 internalLockLeaseTime
internalLockLeaseTime,
// 获取锁的名称,由线程 ID 和当前 Redisson 实例 ID 组成
getLockName(threadId)
);
}
此方法主要是用于在获取分布式锁的情况下,对锁的过期时间进行续约的操作。其中,RedisCommands.EVAL_BOOLEAN 代表执行 EVAL 命令后返回的数据类型为 Boolean 类型;getKey() 方法用于获取锁的名称,该名称由锁的前缀和锁的 ID 组成;getLockName(threadId) 方法用于获取当前线程获取锁后的锁名称,之所以要使用当前 Redisson 实例 ID 与线程 ID 组合作为锁名称,是为了确保在多个 Redisson 实例下,所有线程都能够正确地获取到锁名并正确地执行续约操作。
5.cancelExpirationRenewal
void cancelExpirationRenewal(Long threadId) {
// 从 EXPIRATION_RENEWAL_MAP 中查找当前锁实例,并获取相应的 ExpirationEntry 对象。
ExpirationEntry task = EXPIRATION_RENEWAL_MAP.get(getEntryName());
if (task == null) {
return;
}
// 如果传入了调用者线程 ID,则从任务中移除该线程 ID。
if (threadId != null) {
task.removeThreadId(threadId);
}
// 如果线程 ID 为空,或者任务已经没有任何线程在持有它了,则取消任务并从 EXPIRATION_RENEWAL_MAP 中删除该实体。
if (threadId == null || task.hasNoThreads()) {
Timeout timeout = task.getTimeout();
if (timeout != null) {
timeout.cancel(); // 取消定时任务
}
EXPIRATION_RENEWAL_MAP.remove(getEntryName()); // 从 EXPIRATION_RENEWAL_MAP 中删除实体
}
}
这个方法主要是用于取消延长锁过期时间的定时任务。当一个线程在unlock释放锁时,便会调用这个方法。在该方法内部,首先通过 getEntryName() 获取当前锁实例的名称,然后从 EXPIRATION_RENEWAL_MAP 中查找该名称对应的 ExpirationEntry 对象。如果对象不存在,则直接返回即可;否则,如果传入了调用者线程 ID,则从任务中移除该线程 ID。接着,如果线程 ID 为空,或者任务已经没有任何线程在持有它了,则取消任务并从 EXPIRATION_RENEWAL_MAP 中删除该实体。需要注意的是,取消定时任务的操作是通过调用 timeout.cancel() 实现的,它会将定时任务从时间轮中移除。由于 Redisson 是基于 Netty 的,所以它使用的是 HashedWheelTimer,这个定时器底层是基于时间轮实现的,并且支持动态添加和删除定时任务。
三、 使用注意事项
使用Redisson分布式锁的看门狗应注意以下几个问题:
- 设置合理的锁超时时间:如果锁的超时时间过短,则会导致频繁续命和多次加锁解锁,影响程序性能;如果锁的超时时间过长,则可能会因为某些异常原因使得锁无法释放,从而导致死锁。
- 在业务逻辑完成后及时启动看门狗:如果业务逻辑执行时间过长,则有可能导致锁的过期,从而使看门狗失去续命的意义。
- 合理配置看门狗的参数:看门狗的续命时间间隔应该在锁的过期时间内,且重试次数不宜过多,以免影响程序性能。
- 避免锁的嵌套使用:锁的嵌套使用有可能导致死锁或者其他并发问题,应避免使用。
相关推荐
- redis的八种使用场景
-
前言:redis是我们工作开发中,经常要打交道的,下面对redis的使用场景做总结介绍也是对redis举报的功能做梳理。缓存Redis最常见的用途是作为缓存,用于加速应用程序的响应速度。...
- 基于Redis的3种分布式ID生成策略
-
在分布式系统设计中,全局唯一ID是一个基础而关键的组件。随着业务规模扩大和系统架构向微服务演进,传统的单机自增ID已无法满足需求。高并发、高可用的分布式ID生成方案成为构建可靠分布式系统的必要条件。R...
- 基于OpenWrt系统路由器的模式切换与网页设计
-
摘要:目前商用WiFi路由器已应用到多个领域,商家通过给用户提供一个稳定免费WiFi热点达到吸引客户、提升服务的目标。传统路由器自带的Luci界面提供了工厂模式的Web界面,用户可通过该界面配置路...
- 这篇文章教你看明白 nginx-ingress 控制器
-
主机nginx一般nginx做主机反向代理(网关)有以下配置...
- 如何用redis实现注册中心
-
一句话总结使用Redis实现注册中心:服务注册...
- 爱可可老师24小时热门分享(2020.5.10)
-
No1.看自己以前写的代码是种什么体验?No2.DooM-chip!国外网友SylvainLefebvre自制的无CPU、无操作码、无指令计数器...No3.我认为CS学位可以更好,如...
- Apportable:拯救程序员,IOS一秒变安卓
-
摘要:还在为了跨平台使用cocos2d-x吗,拯救objc程序员的奇葩来了,ApportableSDK:FreeAndroidsupportforcocos2d-iPhone。App...
- JAVA实现超买超卖方案汇总,那个最适合你,一篇文章彻底讲透
-
以下是几种Java实现超买超卖问题的核心解决方案及代码示例,针对高并发场景下的库存扣减问题:方案一:Redis原子操作+Lua脚本(推荐)//使用Redis+Lua保证原子性publicbo...
- 3月26日更新 快速施法自动施法可独立设置
-
2016年3月26日DOTA2有一个79.6MB的更新主要是针对自动施法和快速施法的调整本来内容不多不少朋友都有自动施法和快速施法的困扰英文更新日志一些视觉BUG修复就不翻译了主要翻译自动施...
- Redis 是如何提供服务的
-
在刚刚接触Redis的时候,最想要知道的是一个’setnameJhon’命令到达Redis服务器的时候,它是如何返回’OK’的?里面命令处理的流程如何,具体细节怎么样?你一定有问过自己...
- lua _G、_VERSION使用
-
到这里我们已经把lua基础库中的函数介绍完了,除了函数外基础库中还有两个常量,一个是_G,另一个是_VERSION。_G是基础库本身,指向自己,这个变量很有意思,可以无限引用自己,最后得到的还是自己,...
- China's top diplomat to chair third China-Pacific Island countries foreign ministers' meeting
-
BEIJING,May21(Xinhua)--ChineseForeignMinisterWangYi,alsoamemberofthePoliticalBureau...
- 移动工作交流工具Lua推出Insights数据分析产品
-
Lua是一个适用于各种职业人士的移动交流平台,它在今天推出了一项叫做Insights的全新功能。Insights是一个数据平台,客户可以在上面实时看到员工之间的交流情况,并分析这些情况对公司发展的影响...
- Redis 7新武器:用Redis Stack实现向量搜索的极限压测
-
当传统关系型数据库还在为向量相似度搜索的性能挣扎时,Redis7的RedisStack...
- Nginx/OpenResty详解,Nginx Lua编程,重定向与内部子请求
-
重定向与内部子请求Nginx的rewrite指令不仅可以在Nginx内部的server、location之间进行跳转,还可以进行外部链接的重定向。通过ngx_lua模块的Lua函数除了能实现Nginx...
- 一周热门
-
-
C# 13 和 .NET 9 全知道 :13 使用 ASP.NET Core 构建网站 (1)
-
因果推断Matching方式实现代码 因果推断模型
-
git pull命令使用实例 git pull--rebase
-
git pull 和git fetch 命令分别有什么作用?二者有什么区别?
-
面试官:git pull是哪两个指令的组合?
-
git 执行pull错误如何撤销 git pull fail
-
git fetch 和git pull 的异同 git中fetch和pull的区别
-
git pull 之后本地代码被覆盖 解决方案
-
还可以这样玩?Git基本原理及各种骚操作,涨知识了
-
git命令之pull git.pull
-
- 最近发表
- 标签列表
-
- git pull (33)
- git fetch (35)
- mysql insert (35)
- mysql distinct (37)
- concat_ws (36)
- java continue (36)
- jenkins官网 (37)
- mysql 子查询 (37)
- python元组 (33)
- mybatis 分页 (35)
- vba split (37)
- redis watch (34)
- python list sort (37)
- nvarchar2 (34)
- mysql not null (36)
- hmset (35)
- python telnet (35)
- python readlines() 方法 (36)
- munmap (35)
- docker network create (35)
- redis 集合 (37)
- python sftp (37)
- setpriority (34)
- c语言 switch (34)
- git commit (34)