基于Redis的3种分布式ID生成策略
wptr33 2025-08-06 23:27 70 浏览
在分布式系统设计中,全局唯一ID是一个基础而关键的组件。随着业务规模扩大和系统架构向微服务演进,传统的单机自增ID已无法满足需求。高并发、高可用的分布式ID生成方案成为构建可靠分布式系统的必要条件。
Redis具备高性能、原子操作及简单易用的特性,因此我们可以基于Redis实现全局唯一ID的生成。
分布式ID的核心需求
一个优秀的分布式ID生成方案应满足以下要求
- 全局唯一性:在整个分布式系统中保证ID不重复
- 高性能:能够快速生成ID,支持高并发场景
- 高可用:避免单点故障,确保服务持续可用
- 趋势递增:生成的ID大致呈递增趋势,便于数据库索引和分片
- 安全性(可选) :不包含敏感信息,不易被推测和伪造
1. 基于INCR命令的简单自增ID
原理
这是最直接的Redis分布式ID实现方式,利用Redis的INCR命令原子性递增一个计数器,确保在分布式环境下ID的唯一性。
代码实现
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.stereotype.Component;
@Component
public class RedisSimpleIdGenerator {
private final RedisTemplate<String, String> redisTemplate;
private final String ID_KEY;
public RedisSimpleIdGenerator(RedisTemplate<String, String> redisTemplate) {
this.redisTemplate = redisTemplate;
this.ID_KEY = "distributed:id:generator";
}
/**
* 生成下一个ID
* @return 唯一ID
*/
public long nextId() {
Long id = redisTemplate.opsForValue().increment(ID_KEY);
if (id == null) {
throw new RuntimeException("Failed to generate id");
}
return id;
}
/**
* 为指定业务生成ID
* @param bizTag 业务标签
* @return 唯一ID
*/
public long nextId(String bizTag) {
String key = ID_KEY + ":" + bizTag;
Long id = redisTemplate.opsForValue().increment(key);
if (id == null) {
throw new RuntimeException("Failed to generate id for " + bizTag);
}
return id;
}
/**
* 获取当前ID值但不递增
* @param bizTag 业务标签
* @return 当前ID值
*/
public long currentId(String bizTag) {
String key = ID_KEY + ":" + bizTag;
String value = redisTemplate.opsForValue().get(key);
return value != null ? Long.parseLong(value) : 0;
}
}优缺点
优点
- 实现极其简单,仅需一次Redis操作
- ID严格递增,适合作为数据库主键
- 支持多业务ID隔离
缺点
- Redis单点故障会导致ID生成服务不可用
- 主从切换可能导致ID重复
- 无法包含业务含义
适用场景
- 中小规模系统的自增主键生成
- 对ID连续性有要求的业务场景
- 单数据中心部署的应用
2. 基于Lua脚本的批量ID生成
原理
通过Lua脚本一次性获取一批ID,减少网络往返次数,客户端可在内存中顺序分配ID,显著提高性能。
代码实现
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.data.redis.core.script.DefaultRedisScript;
import org.springframework.stereotype.Component;
import java.util.Collections;
import java.util.List;
import java.util.concurrent.atomic.AtomicLong;
import java.util.concurrent.locks.Lock;
import java.util.concurrent.locks.ReentrantLock;
@Component
public class RedisBatchIdGenerator {
private final RedisTemplate<String, String> redisTemplate;
private final String ID_KEY = "distributed:batch:id";
private final DefaultRedisScript<Long> batchIncrScript;
// 批量获取的大小
private final int BATCH_SIZE = 1000;
// 本地计数器和锁
private AtomicLong currentId = new AtomicLong(0);
private AtomicLong endId = new AtomicLong(0);
private final Lock lock = new ReentrantLock();
public RedisBatchIdGenerator(RedisTemplate<String, String> redisTemplate) {
this.redisTemplate = redisTemplate;
// 创建Lua脚本
String scriptText =
"local key = KEYS[1] " +
"local step = tonumber(ARGV[1]) " +
"local currentValue = redis.call('incrby', key, step) " +
"return currentValue";
this.batchIncrScript = new DefaultRedisScript<>();
this.batchIncrScript.setScriptText(scriptText);
this.batchIncrScript.setResultType(Long.class);
}
/**
* 获取下一个ID
*/
public long nextId() {
// 如果当前ID超过了分配范围,则重新获取一批
if (currentId.get() >= endId.get()) {
lock.lock();
try {
// 双重检查,防止多线程重复获取
if (currentId.get() >= endId.get()) {
// 执行Lua脚本获取一批ID
Long newEndId = redisTemplate.execute(
batchIncrScript,
Collections.singletonList(ID_KEY),
String.valueOf(BATCH_SIZE)
);
if (newEndId == null) {
throw new RuntimeException("Failed to generate batch ids");
}
// 设置新的ID范围
endId.set(newEndId);
currentId.set(newEndId - BATCH_SIZE);
}
} finally {
lock.unlock();
}
}
// 分配下一个ID
return currentId.incrementAndGet();
}
/**
* 为指定业务生成ID
*/
public long nextId(String bizTag) {
// 实际项目中应该为每个业务标签维护独立的计数器和范围
// 这里简化处理,仅使用不同的Redis key
String key = ID_KEY + ":" + bizTag;
Long newEndId = redisTemplate.execute(
batchIncrScript,
Collections.singletonList(key),
String.valueOf(1)
);
return newEndId != null ? newEndId : -1;
}
}
优缺点
优点
- 显著减少Redis网络请求次数
- 客户端缓存ID段,大幅提高性能
- 降低Redis服务器压力
- 支持突发流量处理
缺点
- 实现复杂度增加
- 服务重启可能导致ID段浪费
适用场景
- 高并发系统,需要极高ID生成性能的场景
- 对ID连续性要求不严格的业务
- 能容忍小部分ID浪费的场景
3. 基于Redis的分段式ID分配(号段模式)
原理
号段模式是一种优化的批量ID生成方案,通过预分配号段(ID范围)减少服务间竞争,同时引入双Buffer机制提高可用性。
代码实现
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.data.redis.core.script.DefaultRedisScript;
import org.springframework.stereotype.Component;
import java.util.Collections;
import java.util.Map;
import java.util.concurrent.ConcurrentHashMap;
import java.util.concurrent.atomic.AtomicLong;
import java.util.concurrent.locks.Lock;
import java.util.concurrent.locks.ReentrantLock;
@Component
public class RedisSegmentIdGenerator {
private final RedisTemplate<String, String> redisTemplate;
private final String SEGMENT_KEY = "distributed:segment:id";
private final DefaultRedisScript<Long> segmentScript;
// 号段大小
private final int SEGMENT_STEP = 1000;
// 加载因子,当前号段使用到这个百分比时就异步加载下一个号段
private final double LOAD_FACTOR = 0.7;
// 存储业务号段信息的Map
private final Map<String, SegmentBuffer> businessSegmentMap = new ConcurrentHashMap<>();
public RedisSegmentIdGenerator(RedisTemplate<String, String> redisTemplate) {
this.redisTemplate = redisTemplate;
// 创建Lua脚本
String scriptText =
"local key = KEYS[1] " +
"local step = tonumber(ARGV[1]) " +
"local value = redis.call('incrby', key, step) " +
"return value";
this.segmentScript = new DefaultRedisScript<>();
this.segmentScript.setScriptText(scriptText);
this.segmentScript.setResultType(Long.class);
}
/**
* 获取下一个ID
* @param bizTag 业务标签
* @return 唯一ID
*/
public long nextId(String bizTag) {
// 获取或创建号段缓冲区
SegmentBuffer buffer = businessSegmentMap.computeIfAbsent(
bizTag, k -> new SegmentBuffer(bizTag));
return buffer.nextId();
}
/**
* 内部号段缓冲区类,实现双Buffer机制
*/
private class SegmentBuffer {
private String bizTag;
private Segment[] segments = new Segment[2]; // 双Buffer
private volatile int currentPos = 0; // 当前使用的segment位置
private Lock lock = new ReentrantLock();
private volatile boolean isLoadingNext = false; // 是否正在异步加载下一个号段
public SegmentBuffer(String bizTag) {
this.bizTag = bizTag;
segments[0] = new Segment(0, 0);
segments[1] = new Segment(0, 0);
}
/**
* 获取下一个ID
*/
public long nextId() {
// 获取当前号段
Segment segment = segments[currentPos];
// 如果当前号段为空或已用完,切换到另一个号段
if (!segment.isInitialized() || segment.getValue() > segment.getMax()) {
lock.lock();
try {
// 双重检查当前号段状态
segment = segments[currentPos];
if (!segment.isInitialized() || segment.getValue() > segment.getMax()) {
// 切换到另一个号段
currentPos = (currentPos + 1) % 2;
segment = segments[currentPos];
// 如果另一个号段也未初始化或已用完,则同步加载
if (!segment.isInitialized() || segment.getValue() > segment.getMax()) {
loadSegmentFromRedis(segment);
}
}
} finally {
lock.unlock();
}
}
// 检查是否需要异步加载下一个号段
long value = segment.incrementAndGet();
if (value > segment.getMin() + (segment.getMax() - segment.getMin()) * LOAD_FACTOR
&& !isLoadingNext) {
isLoadingNext = true;
// 异步加载下一个号段
new Thread(() -> {
Segment nextSegment = segments[(currentPos + 1) % 2];
loadSegmentFromRedis(nextSegment);
isLoadingNext = false;
}).start();
}
return value;
}
/**
* 从Redis加载号段
*/
private void loadSegmentFromRedis(Segment segment) {
String key = SEGMENT_KEY + ":" + bizTag;
// 执行Lua脚本获取号段最大值
Long max = redisTemplate.execute(
segmentScript,
Collections.singletonList(key),
String.valueOf(SEGMENT_STEP)
);
if (max == null) {
throw new RuntimeException("Failed to load segment from Redis");
}
// 设置号段范围
long min = max - SEGMENT_STEP + 1;
segment.setMax(max);
segment.setMin(min);
segment.setValue(min - 1); // 设置为min-1,第一次incrementAndGet返回min
segment.setInitialized(true);
}
}
/**
* 内部号段类,存储号段的范围信息
*/
private class Segment {
private long min; // 最小值
private long max; // 最大值
private AtomicLong value; // 当前值
private volatile boolean initialized; // 是否已初始化
public Segment(long min, long max) {
this.min = min;
this.max = max;
this.value = new AtomicLong(min);
this.initialized = false;
}
public long getValue() {
return value.get();
}
public void setValue(long value) {
this.value.set(value);
}
public long incrementAndGet() {
return value.incrementAndGet();
}
public long getMin() {
return min;
}
public void setMin(long min) {
this.min = min;
}
public long getMax() {
return max;
}
public void setMax(long max) {
this.max = max;
}
public boolean isInitialized() {
return initialized;
}
public void setInitialized(boolean initialized) {
this.initialized = initialized;
}
}
}
优缺点
优点
- 双Buffer设计,高可用性
- 异步加载下一个号段,性能更高
- 大幅降低Redis访问频率
- 即使Redis短暂不可用,仍可分配一段时间的ID
缺点
- 实现复杂,代码量大
- 多实例部署时,各实例获取的号段不连续
- 重启服务时号段内的ID可能浪费
- 需要在内存中维护状态
适用场景
- 对ID生成可用性要求高的业务
- 需要高性能且多服务器部署的分布式系统
4. 性能对比与选型建议
策略 | 性能 | 可用性 | ID长度 | 实现复杂度 | 单调递增 |
INCR命令 | ★★★☆☆ | ★★☆☆☆ | 递增整数 | 低 | 严格递增 |
Lua批量生成 | ★★★★★ | ★★★☆☆ | 递增整数 | 中 | 批次内递增 |
分段式ID | ★★★★★ | ★★★★☆ | 递增整数 | 高 | 段内递增 |
5. 实践优化技巧
1. Redis高可用配置
// 配置Redis哨兵模式,提高可用性
@Bean
public RedisConnectionFactory redisConnectionFactory() {
RedisSentinelConfiguration sentinelConfig = new RedisSentinelConfiguration()
.master("mymaster")
.sentinel("127.0.0.1", 26379)
.sentinel("127.0.0.1", 26380)
.sentinel("127.0.0.1", 26381);
return new LettuceConnectionFactory(sentinelConfig);
}
2. ID预热策略
// 系统启动时预热ID生成器
@PostConstruct
public void preWarmIdGenerator() {
// 预先获取一批ID,确保系统启动后立即可用
for (int i = 0; i < 10; i++) {
try {
segmentIdGenerator.nextId("order");
segmentIdGenerator.nextId("user");
segmentIdGenerator.nextId("payment");
} catch (Exception e) {
log.error("Failed to pre-warm ID generator", e);
}
}
}3. 降级策略
// Redis不可用时的降级策略
public long nextIdWithFallback(String bizTag) {
try {
return segmentIdGenerator.nextId(bizTag);
} catch (Exception e) {
log.warn("Failed to get ID from Redis, using local fallback", e);
// 使用本地UUID或其他替代方案
return Math.abs(UUID.randomUUID().getMostSignificantBits());
}
}
6. 结论
选择合适的分布式ID生成策略时,需要综合考虑系统规模、性能需求、可靠性要求和实现复杂度。无论选择哪种方案,都应注重高可用性设计,增加监控和预警机制,确保ID生成服务的稳定运行。
在实践中,可以基于业务需求对这些方案进行组合和优化,例如为不同业务选择不同策略,或者在ID中嵌入业务标识等,打造更适合自身系统的分布式ID生成解决方案。
- 上一篇:基于OpenWrt系统路由器的模式切换与网页设计
- 下一篇:redis的八种使用场景
相关推荐
- oracle数据导入导出_oracle数据导入导出工具
-
关于oracle的数据导入导出,这个功能的使用场景,一般是换服务环境,把原先的oracle数据导入到另外一台oracle数据库,或者导出备份使用。只不过oracle的导入导出命令不好记忆,稍稍有点复杂...
- 继续学习Python中的while true/break语句
-
上次讲到if语句的用法,大家在微信公众号问了小编很多问题,那么小编在这几种解决一下,1.else和elif是子模块,不能单独使用2.一个if语句中可以包括很多个elif语句,但结尾只能有一个...
- python continue和break的区别_python中break语句和continue语句的区别
-
python中循环语句经常会使用continue和break,那么这2者的区别是?continue是跳出本次循环,进行下一次循环;break是跳出整个循环;例如:...
- 简单学Python——关键字6——break和continue
-
Python退出循环,有break语句和continue语句两种实现方式。break语句和continue语句的区别:break语句作用是终止循环。continue语句作用是跳出本轮循环,继续下一次循...
- 2-1,0基础学Python之 break退出循环、 continue继续循环 多重循
-
用for循环或者while循环时,如果要在循环体内直接退出循环,可以使用break语句。比如计算1至100的整数和,我们用while来实现:sum=0x=1whileTrue...
- Python 中 break 和 continue 傻傻分不清
-
大家好啊,我是大田。...
- python中的流程控制语句:continue、break 和 return使用方法
-
Python中,continue、break和return是控制流程的关键语句,用于在循环或函数中提前退出或跳过某些操作。它们的用途和区别如下:1.continue(跳过当前循环的剩余部分,进...
- L017:continue和break - 教程文案
-
continue和break在Python中,continue和break是用于控制循环(如for和while)执行流程的关键字,它们的作用如下:1.continue:跳过当前迭代,...
- 作为前端开发者,你都经历过怎样的面试?
-
已经裸辞1个月了,最近开始投简历找工作,遇到各种各样的面试,今天分享一下。其实在职的时候也做过面试官,面试官时,感觉自己问的问题很难区分候选人的能力,最好的办法就是看看候选人的github上的代码仓库...
- 面试被问 const 是否不可变?这样回答才显功底
-
作为前端开发者,我在学习ES6特性时,总被const的"善变"搞得一头雾水——为什么用const声明的数组还能push元素?为什么基本类型赋值就会报错?直到翻遍MDN文档、对着内存图反...
- 2023金九银十必看前端面试题!2w字精品!
-
导文2023金九银十必看前端面试题!金九银十黄金期来了想要跳槽的小伙伴快来看啊CSS1.请解释CSS的盒模型是什么,并描述其组成部分。...
- 前端面试总结_前端面试题整理
-
记得当时大二的时候,看到实验室的学长学姐忙于各种春招,有些收获了大厂offer,有些还在苦苦面试,其实那时候的心里还蛮忐忑的,不知道自己大三的时候会是什么样的一个水平,所以从19年的寒假放完,大二下学...
- 由浅入深,66条JavaScript面试知识点(七)
-
作者:JakeZhang转发链接:https://juejin.im/post/5ef8377f6fb9a07e693a6061目录...
- 2024前端面试真题之—VUE篇_前端面试题vue2020及答案
-
添加图片注释,不超过140字(可选)...
- 今年最常见的前端面试题,你会做几道?
-
在面试或招聘前端开发人员时,期望、现实和需求之间总是存在着巨大差距。面试其实是一个交流想法的地方,挑战人们的思考方式,并客观地分析给定的问题。可以通过面试了解人们如何做出决策,了解一个人对技术和解决问...
- 一周热门
- 最近发表
-
- oracle数据导入导出_oracle数据导入导出工具
- 继续学习Python中的while true/break语句
- python continue和break的区别_python中break语句和continue语句的区别
- 简单学Python——关键字6——break和continue
- 2-1,0基础学Python之 break退出循环、 continue继续循环 多重循
- Python 中 break 和 continue 傻傻分不清
- python中的流程控制语句:continue、break 和 return使用方法
- L017:continue和break - 教程文案
- 作为前端开发者,你都经历过怎样的面试?
- 面试被问 const 是否不可变?这样回答才显功底
- 标签列表
-
- git pull (33)
- git fetch (35)
- mysql insert (35)
- mysql distinct (37)
- concat_ws (36)
- java continue (36)
- jenkins官网 (37)
- mysql 子查询 (37)
- python元组 (33)
- mybatis 分页 (35)
- vba split (37)
- redis watch (34)
- python list sort (37)
- nvarchar2 (34)
- mysql not null (36)
- hmset (35)
- python telnet (35)
- python readlines() 方法 (36)
- munmap (35)
- docker network create (35)
- redis 集合 (37)
- python sftp (37)
- setpriority (34)
- c语言 switch (34)
- git commit (34)
