百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT技术 > 正文

redis Scan 踩坑记 key的模糊匹配

wptr33 2025-03-10 21:11 12 浏览

scan 命令和 keys的区别

首先我们先说说keys命令

KEYS * 匹配数据库中所有 key 。
KEYS h?llo 匹配 hello , hallo 和 hxllo 等。
KEYS h*llo 匹配 hllo 和 heeeeello 等。
KEYS h[ae]llo 匹配 hello 和 hallo ,但不匹配 hillo 
特殊符号用 \ 隔开
时间复杂度:
O(N), N 为数据库中 key 的数量。
返回值:
符合给定模式的 key 列表。

首先 keys 是阻塞式命令 redis的命令执行是单线程的,同一时间只能执行单个命令。这也就造成了生产环境如果使用这个命令会造成 阻塞,其他的服务不能调用redis 严重点 服务可能会挂掉。

scan 命令

SCAN cursor [MATCH pattern] [COUNT count]
SCAN 命令用于迭代当前数据库中的数据库键。
SSCAN 命令用于迭代集合键中的元素。
HSCAN 命令用于迭代哈希键中的键值对。
ZSCAN 命令用于迭代有序集合中的元素(包括元素成员和元素分值)。
  1. 以上列出的四个命令都支持增量式迭代, 它们每次执行都只会返回少量元素, 所以这些命令可以用于生产环境, 而不会出现像 KEYS 命令、 SMEMBERS 命令带来的问题 —— 当 KEYS 命令被用于处理一个大的数据库时, 又或者 SMEMBERS 命令被用于处理一个大的集合键时, 它们可能会阻塞服务器达数秒之久。不过, 增量式迭代命令也不是没有缺点的: 举个例子, 使用 SMEMBERS 命令可以返回集合键当前包含的所有元素, 但是对于 SCAN 这类增量式迭代命令来说, 因为在对键进行增量式迭代的过程中, 键可能会被修改, 所以增量式迭代命令只能对被返回的元素提供有限的保证(offer limited guarantees about the returned elements)。
  2. 因为 SCAN 、 SSCAN 、 HSCAN 和 ZSCAN 四个命令的工作方式都非常相似, 所以这个文档会一并介绍这四个命令, 但是要记住: SSCAN 命令、 HSCAN 命令和 ZSCAN 命令的第一个参数总是一个数据库键。 而 SCAN 命令则不需要在第一个参数提供任何数据库键 —— 因为它迭代的是当前数据库中的所有数据库键。
SCAN 命令是一个基于游标的迭代器(cursor based iterator): 
SCAN 命令每次被调用之后, 都会向用户返回一个新的游标, 
用户在下次迭代时需要使用这个新游标作为 SCAN 命令的游标参数, 以此来延续之前的迭代过程。

当 SCAN 命令的游标参数被设置为 0 时, 服务器将开始一次新的迭代, 
而当服务器向用户返回值为 0 的游标时, 表示迭代已结束

SCAN 命令的基本用法

SCAN cursor [MATCH pattern] [COUNT count]

cursor :游标位置 pattern:匹配的值 count:每次渐进的值并不是返回结果的数量 也可以理解为每次扫描的值这个 值也并不是越大越好,测 试中500w数据 设置为15000时效率最好。

  1. 注意 :Count 参数越大,Redis 阻塞时间也会越长,需要取舍。开始不知道直接设置了Integer.MAX_VALUE 结果上线直接凉凉堵塞死
  2. 并且返回的值中会存在重复的key 且是无序的 所以要注意去重。
    public void setRedisinfo() {
        ScanOptions scanOptions = new ScanOptions.ScanOptionsBuilder()
                .match("*B*")
                .count(15000).build();
        Cursor<Map.Entry> searchkey = redisTemplate.opsForHash().scan("searchkey", scanOptions);
        while (searchkey.hasNext()){
            Map.Entry next = searchkey.next();
            log.info(next.getKey()+":"+next.getValue());
        }
    }

redis 中的数据 匹配 B

下面我们说一下 redis 的模糊匹配 并且 忽略大小写

redis 是支持 正则的 但是 只支持 通配符的方式 : [Aa][Bb][Cc]

	//这里返回  [Aa][Bb][Cc]
    public static String UnA(String string){
        char[] charArr=string.toCharArray();
        String res="";
        for (char c : charArr) {
            if(check(c)){
               String ups=String.valueOf(c).toUpperCase();
               String lows=String.valueOf(c).toLowerCase();
                res+="["+ups+""+lows+"]";
            }
        }
        return res;
    }
    public static boolean check(char c) {
        if (((c >= 'a' && c <= z c>= 'A' && c <= 'Z'))) {
            return true;
        } else {
            return false;
        }
    }

我们测试下忽略大小写 匹配 B b

@Test
    public void setRedisinfo() {
        ScanOptions scanOptions = new ScanOptions.ScanOptionsBuilder()
                //.match("*观八虏铰惑*")
                .match("*"+UnA("B")+"*")
                .count(15000).build();
        Cursor<Map.Entry> searchkey = redisTemplate.opsForHash().scan("searchkey", scanOptions);
        while (searchkey.hasNext()){
            Map.Entry next = searchkey.next();
            log.info(next.getKey()+":"+next.getValue());
        }
        log.info(searchkey.toString());
    }

获取到的结果


另外redis 的其他命令可以去 doc.redisfans.com/ 这里查看

ok 坑就踩到这。。。下一个坑见!

作者:青衣画白扇
链接:
https://juejin.cn/post/7091098560111837221

相关推荐

每天一个编程技巧!掌握这7个神技,代码效率飙升200%

“同事6点下班,你却为改BUG加班到凌晨?不是你不努力,而是没掌握‘偷懒’的艺术!本文揭秘谷歌工程师私藏的7个编程神技,每天1分钟,让你的代码从‘能用’变‘逆天’。文末附《Python高效代码模板》,...

Git重置到某个历史节点(Sourcetree工具)

前言Sourcetree回滚提交和重置当前分支到此次提交的区别?回滚提交是指将改动的代码提交到本地仓库,但未推送到远端仓库的时候。...

git工作区、暂存区、本地仓库、远程仓库的区别和联系

很多程序员天天写代码,提交代码,拉取代码,对git操作非常熟练,但是对git的原理并不甚了解,借助豆包AI,写个文章总结一下。Git的四个核心区域(工作区、暂存区、本地仓库、远程仓库)是版本控制的核...

解锁人生新剧本的密钥:学会让往事退场

开篇:敦煌莫高窟的千年启示在莫高窟321窟的《降魔变》壁画前,讲解员指着斑驳色彩说:"画师刻意保留了历代修补痕迹,因为真正的传承不是定格,而是流动。"就像我们的人生剧本,精彩章节永远...

Reset local repository branch to be just like remote repository HEAD

技术背景在使用Git进行版本控制时,有时会遇到本地分支与远程分支不一致的情况。可能是因为误操作、多人协作时远程分支被更新等原因。这时就需要将本地分支重置为与远程分支的...

Git恢复至之前版本(git恢复到pull之前的版本)

让程序回到提交前的样子:两种解决方法:回退(reset)、反做(revert)方法一:gitreset...

如何将文件重置或回退到特定版本(怎么让文件回到初始状态)

技术背景在使用Git进行版本控制时,经常会遇到需要将文件回退到特定版本的情况。可能是因为当前版本出现了错误,或者想要恢复到之前某个稳定的版本。Git提供了多种方式来实现这一需求。...

git如何正确回滚代码(git命令回滚代码)

方法一,删除远程分支再提交①首先两步保证当前工作区是干净的,并且和远程分支代码一致$gitcocurrentBranch$gitpullorigincurrentBranch$gi...

[git]撤销的相关命令:reset、revert、checkout

基本概念如果不清晰上面的四个概念,请查看廖老师的git教程这里我多说几句:最开始我使用git的时候,我并不明白我为什么写完代码要用git的一些列指令把我的修改存起来。后来用多了,也就明白了为什么。gi...

利用shell脚本将Mysql错误日志保存到数据库中

说明:利用shell脚本将MYSQL的错误日志提取并保存到数据库中步骤:1)创建数据库,创建表CreatedatabaseMysqlCenter;UseMysqlCenter;CREATET...

MySQL 9.3 引入增强的JavaScript支持

MySQL,这一广泛采用的开源关系型数据库管理系统(RDBMS),发布了其9.x系列的第三个更新版本——9.3版,带来了多项新功能。...

python 连接 mysql 数据库(python连接MySQL数据库案例)

用PyMySQL包来连接Python和MySQL。在使用前需要先通过pip来安装PyMySQL包:在windows系统中打开cmd,输入pipinstallPyMySQL ...

mysql导入导出命令(mysql 导入命令)

mysql导入导出命令mysqldump命令的输入是在bin目录下.1.导出整个数据库  mysqldump-u用户名-p数据库名>导出的文件名  mysqldump-uw...

MySQL-SQL介绍(mysql sqlyog)

介绍结构化查询语言是高级的非过程化编程语言,允许用户在高层数据结构上工作。它不要求用户指定对数据的存放方法,也不需要用户了解具体的数据存放方式,所以具有完全不同底层结构的不同数据库系统,可以使用相同...

MySQL 误删除数据恢复全攻略:基于 Binlog 的实战指南

在MySQL的世界里,二进制日志(Binlog)就是我们的"时光机"。它默默记录着数据库的每一个重要变更,就像一位忠实的史官,为我们在数据灾难中提供最后的救命稻草。本文将带您深入掌握如...