架构视界
主页
企业架构
  • 方案总览
  • 业财一体
  • 企业中台
  • 组织与绩效
  • 流程治理
数据收集与分析
  • 转型总览
  • 信息化阶段
  • 数字化解决方案
  • 智数化解决方案
  • 智能化解决方案
  • 产品设计
  • 项目管理
全栈软件工程
AI 原生软件工程
方法论
博客
  • 资源导航
  • 效率工具
  • 展示专区
主页
企业架构
  • 方案总览
  • 业财一体
  • 企业中台
  • 组织与绩效
  • 流程治理
数据收集与分析
  • 转型总览
  • 信息化阶段
  • 数字化解决方案
  • 智数化解决方案
  • 智能化解决方案
  • 产品设计
  • 项目管理
全栈软件工程
AI 原生软件工程
方法论
博客
  • 资源导航
  • 效率工具
  • 展示专区
  • 标签索引
  • 2024年

    • 勇闯大A:美债与美元周期
    • 勇闯大A:交易纪律与自我管理
    • 勇闯大A:交易系统分层
    • 勇闯大A:买卖点与止损规则
    • 勇闯大A:债券与资金流向
    • 勇闯大A:微观、宏观与周期
    • Mac 开发环境:新机配置清单
    • 勇闯大A:内外盘与换手率
    • 会计管理:财报阅读与管理报表
    • 会计基础:记账原理与分录
    • 财务入门:财务体系全景
  • 2023年

    • 境外投资:泰国 BOI 申请实务
  • 2022年

    • 企业架构:故障管理与分级响应
    • 企业架构:技术债务的识别、度量与偿还
  • 2021年

    • Python 数据分析:员工分布可视化
    • Python 数据分析:IP 访问折线图
    • Python 数据分析:IP 词云图
    • Redis:RediSearch 全文检索
    • Rust 基础:第一个 CLI 程序
    • Rust 基础:所有权机制
    • Rust 基础:函数与控制流
    • Rust 基础:变量与数据类型
    • Rust 基础:入门与开发环境
    • 企业架构:分布式系统设计
    • 企业架构:编程式权限设计
    • JVM 调优:启动参数与 GC 日志
    • MyBatis 批量插入:三种写法对比
    • 测试:Spring Boot 分层 Mock
    • Redis:布隆过滤器判断元素存在
    • Jenkins:安装配置与应用部署
    • WebClient:非阻塞 HTTP 客户端
    • Drone:Docker 部署轻量 CI
    • Spring AOP:操作审计日志落库
    • Redisson:分布式锁与 RedLock
    • MyBatis 拦截器:雪花算法主键
    • Netty:线程模型与网络编程
    • Redis:SCAN 游标遍历大键空间
    • Jenkins:单机部署与升级脚本
    • Mac:Neo4j 与 Jupyter 安装
    • JavaFX:OpenJDK 11 环境配置
    • Mac:用 jenv 管理 JDK 版本
    • Redis:有序集合实现延时队列
    • Spring Boot 日志:MDC 串联链路
    • 定时任务:Spring 调度与 Cron
    • GoAccess:Nginx 日志分析
    • MyBatis 拦截器:慢 SQL 分析
    • Lucene:倒排索引与中文分词
    • 分布式锁:三种实现方案对比
    • 学习技巧:减少学习排斥心理
    • 动态数据源:多租户数据路由
    • Compose:Spring Boot 三件套
    • Java 阻塞队列:源码与用法
    • Redis:Docker Compose 哨兵
    • Redis:Docker Compose 主从
    • 网络通信:TCP/IP 与 HTTP 基础
  • 2020年

    • 延时队列:DelayQueue 与 Redis 实现
    • MySQL 基础:员工库导入实践
    • 雪花算法:分布式 ID 生成
    • Redis:地理位置查询
    • 抓包:Wireshark 与 Tcpdump
    • SPI:JDK 与 Spring 扩展机制
    • ZooKeeper:概念与集群搭建
    • Spring Boot:集成 JMH 基准测试
    • Wireshark:抓包工具入门
    • Compose:Redis 与 MySQL
    • CentOS 7:Docker 安装部署
    • Netty:源码阅读环境搭建
    • MySQL 基础:SQL 常见用法
    • CentOS 7:Selenium 运行环境
    • Nginx:HTTPS 证书配置
    • JMH:基准测试与 Spring Boot 集成
    • Spring Boot:指定 Tomcat 版本
    • Eureka:实例上下线告警
    • 钉钉告警:应用异常与实例上下线
    • JVM:内存布局、类加载与调优
    • Git:rebase 合并多次提交
    • CentOS 7:OpenResty 部署
  • 2019年

    • Redis CLI:macOS 安装与使用
    • Nginx:访问日志格式
    • 工程规范:可维护代码的写法
    • IntelliJ IDEA:常用插件
    • SkyWalking:源码阅读环境搭建
    • Spring Boot:Redis 超时配置
    • gRPC:ProtoBuf 定义与代码生成
    • Arthas:Java 线上问题诊断
    • Redis:缓存穿透与击穿防护
    • Docker 部署:Elasticsearch
    • Docker 部署:MySQL 5.7 单机
    • Spring Redis:字符串命令封装
    • Docker 部署:ZooKeeper 运行
    • Docker 部署:Redis 单机运行
    • Dubbo:Spring Boot 微服务集成
    • CentOS 7:CMake 源码编译安装
    • 性能度量:吞吐量与 QPS 指标
    • Java 递归:从笔试题到经典问题
    • CentOS 7:ELK 日志平台部署
    • CentOS 7:SonarQube 部署
    • Selenium:Chrome 浏览器自动化
    • JJWT:令牌生成与解析测试
    • Spring 源码:阅读环境搭建
    • JUnit 4:注解、断言与参数化
    • JWT:令牌结构与签名机制
    • FastDFS:架构与文件存取机制
    • XPath:XML 文档节点定位
    • Redis 基础:锁、队列与事务
    • Redis 基础:数据类型与命令
    • MyBatis:Slf4j 日志接入
    • MyBatis:H2 单元测试与 SQL 日志
    • 源码阅读:开源项目环境搭建
    • Git 配置:命令清单与作用域
    • Java 核心:面向对象与基础类型
    • Java 核心:关键字、异常与反射
    • Java 核心:多线程基础
    • Java 核心:同步关键字与线程池
    • Java 核心:锁与并发工具
    • Java 核心:语言基础与并发
    • Dubbo:远程调用与服务治理
    • Java 集合:框架总览与实现对比
    • Maven:生命周期与常用命令
    • MyBatis:执行流程与插件机制
    • Spring:IoC 容器与依赖注入
    • Spring:AOP 与自动装配
    • Spring:事务与启动流程
    • Spring:IoC、AOP 与事务
    • Spring MVC:请求分发与注解
    • MySQL:架构与索引
    • MySQL:事务、锁与 MVCC
    • MySQL:日志与 SQL 优化
    • MySQL:架构、事务与优化
    • Redis 基础:持久化与线程模型
  • 2018年

    • Java HashMap:扩容机制与哈希冲突
    • Java 集合:HashSet 去重原理
    • Java 基础:交换两个变量的值
    • Spring MVC:零 web.xml 改造
    • Mac 开发环境:新机配置清单
    • Log4j:日志分级与按业务拆分
    • Modbus:工业通信协议与 RTU 帧
    • MySQL 基础:子查询与连接查询
    • MySQL 基础:库与表操作
    • MySQL 基础:表操作与查询
    • MySQL 基础:约束、引擎与数据类型
    • MySQL 基础:库表、约束与类型
    • Java 集合:Vector 与 Stack
    • Java 集合:Vector 与 Stack
    • RabbitMQ:CentOS 7 单机部署
    • Redis:CentOS 7 单机部署
    • MongoDB:CentOS 7 单机部署
    • Linux:常用系统与运维命令
    • 注册中心:Eureka 与 ZooKeeper
    • MySQL:CentOS 7 单机部署
    • Git 分支:主分支与临时分支
    • CentOS 7:Java 开发环境部署
    • Java 集合:LinkedList 双向链表
    • Java 集合:ArrayList 动态数组
    • Spring AOP:注解方式实现切面
← 返回博客

Redis:SCAN 游标遍历大键空间

2021年2月24日 #数据与存储 #Redis

Scan

游标迭代器

大于 2.8.0 版本可用。

**时间复杂度:**每次调用 O(1)。O(N) 用于完整的迭代,包括足够的命令调用以使光标返回 0。N 是集合内的元素数。

  • 在 Redis 2.8 之前,我们只能使用 keys 命令来查询我们想要的数据,但这个命令存在两个缺点:

  • 此命令没有分页功能,我们只能一次性查询出所有符合条件的 key 值,如果查询结果非常巨大,那么得到的输出信息也会非常多。

  • keys 命令是遍历查询,因此它的查询时间复杂度是 o(n),所以数据量越大查询时间就越长。

  • Scan:用于检索当前数据库中所有数据。

  • HScan:用于检索哈希类型的数据。

  • SScan:用于检索集合类型中的数据。

  • ZScan:由于检索有序集合中的数据。

特性

  • 它可以完整返回开始到结束检索集合中出现的所有元素,也就是在整个查询过程中如果这些元素没有被删除,且符合检索条件,则一定会被查询出来;
  • Scan 可以实现 keys 的匹配功能;
  • Scan 是通过游标进行查询的不会导致 Redis 假死;
  • Scan 提供了 count 参数,可以规定遍历的数量,但是返回并不是按照规定来的;
  • Scan 会把游标返回给客户端,用户客户端继续遍历查询;
  • Scan 返回的结果可能会有重复数据,需要客户端去重;
  • 单次返回空值且游标不为 0,说明遍历还没结束;
  • Scan 可以保证在开始检索之前,被删除的元素一定不会被查询出来;
  • 在迭代过程中如果有元素被修改, Scan 不保证能查询出相关的元素。

演示代码

准备数据

/**
     * 批量获取
     * @param keys
     * @return
     */
    public Map<String, String> batchGet(List<String> keys) {
        Map<String, String> saveMap = new HashMap<>();
        redisTemplate.executePipelined(
                (RedisCallback<String>) connection -> {
                    RedisSerializer<String> stringRedisSerializer
                            = RedisSerializer.string();
                    for (String key : keys) {
                        Object o = connection.get(stringRedisSerializer.serialize(key));
                        if (null != o) {
                            saveMap.put(key, String.valueOf(o));
                        }
                    }
                    return null;
                });
        return saveMap;
    }

    /**
     * string 批量写入
     * @param saveMap
     * @param unit
     * @param timeout
     */
    public void batchInsert(Map<String, String> saveMap, TimeUnit unit, int timeout) {
        /* 插入多条数据 */
        redisTemplate.executePipelined(new SessionCallback<Object>() {
            @Override
            public <K, V> Object execute(RedisOperations<K, V> redisOperations) throws DataAccessException {
                Iterator<Map.Entry<String, String>> iterator = saveMap.entrySet().iterator();
                while (iterator.hasNext()) {
                    Map.Entry<String, String> entry = iterator.next();
                    redisTemplate.opsForValue().set(entry.getKey(), entry.getValue(), timeout, unit);
                }
                return null;
            }
        });
    }

    /**
     * set 批量写入
     * @param key
     * @param list
     * @return
     */
    public Boolean sAdd(String key, List<String> list) {
        return (Boolean) redisTemplate.execute((RedisCallback<Boolean>) connection -> {
                    RedisSerializer<String> stringRedisSerializer
                            = RedisSerializer.string();
                    byte[][] dataArr = new byte[list.size()][];
                    int count = list.size();
                    for (int i = 0; i < count; i++) {
                        dataArr[i] = stringRedisSerializer.serialize(list.get(i));
                    }
                    connection.sAdd(stringRedisSerializer.serialize(key), dataArr);
                    return true;
                }
        );
    }

    /**
     * hash批量写入
     * @param key
     * @param fieldMap
     * @return
     */
    public Boolean hMSet(String key, Map fieldMap) {
        return (Boolean) redisTemplate.execute((RedisCallback<Boolean>) connection -> {
                    RedisSerializer<String> stringRedisSerializer
                            = RedisSerializer.string();
                    Iterator<Map.Entry<String, Object>> iterator = fieldMap.entrySet().iterator();
                    String mapKey;
                    Object value;
                    Map<byte[], byte[]> hashes = new LinkedHashMap(fieldMap.size());
                    while (iterator.hasNext()) {
                        Map.Entry<String, Object> entry = iterator.next();
                        mapKey = entry.getKey();
                        value = entry.getValue();
                        hashes.put(stringRedisSerializer.serialize(mapKey),
                                stringRedisSerializer.serialize(value.toString()));
                    }
                    connection.hMSet(stringRedisSerializer.serialize(key), hashes);
                    return true;
                }
        );
    }

    /**
     * zset 批量写入
     * @param key
     * @param fieldMap
     * @return
     */
    public Boolean zMSet(String key, Map<String, Long> fieldMap) {
        return (Boolean) redisTemplate.execute((RedisCallback<Boolean>) connection -> {
                    RedisSerializer<String> stringRedisSerializer
                            = RedisSerializer.string();
                    Iterator<Map.Entry<String, Long>> iterator = fieldMap.entrySet().iterator();
                    String value;
                    Long score;
                    Set<RedisZSetCommands.Tuple> tuples = new HashSet<>();
                    while (iterator.hasNext()) {
                        Map.Entry<String, Long> entry = iterator.next();
                        value = entry.getKey();
                        score = entry.getValue();
                        tuples.add(new DefaultTuple(stringRedisSerializer.serialize(value), score.doubleValue()));
                    }
                    connection.zAdd(stringRedisSerializer.serialize(key), tuples);
                    return true;
                }
        );
    }

    @BeforeEach
    public void init() {
        int count = 100;
        Map<String, String> saveMap = new HashMap<>(1000);
        Map<String, Long> save = new HashMap<>(1000);
        List<String> keys = new ArrayList<>();
        for (int i = 0; i < count; i++) {
            String key = "user:" + i;
            keys.add(key);
            saveMap.put(key, String.valueOf(i));
            save.put(key, Long.valueOf(i));
        }
        batchInsert(saveMap, TimeUnit.MINUTES, 10);
        hMSet("mUser", saveMap);
        zMSet("zUser", save);
        sAdd("sUser", saveMap.values().stream().collect(Collectors.toList()));
    }
  • 一共插入100个string类型。
  • 一个set集合100个元素。
  • 一个hash集合100个元素。
  • 一个zset集合100个元素。

SCAN

  • scan cursor [MATCH pattern] [COUNT count]
127.0.0.1:6379> scan 0 match user:* count 5
1) "16"
2) 1) "user:85"
   2) "user:67"
   3) "user:73"
   4) "user:81"
   5) "user:3"
127.0.0.1:6379> scan 5 match user:* count 5
1) "29"
2) 1) "user:46"
   2) "user:52"
   3) "user:60"
   4) "user:30"
   5) "user:93"
   6) "user:16"
127.0.0.1:6379> scan 200 match user:* count 5
1) "56"
2) 1) "user:77"
   2) "user:58"
   3) "user:36"
   4) "user:28"
   5) "user:43"
127.0.0.1:6379> scan 0 match user:* count 1
1) "32"
2) 1) "user:85"
127.0.0.1:6379> scan 100 match user:* count 1
1) "20"
2) 1) "user:71"
   2) "user:72"
  • cursor:光标位置,整数值,从 0 开始,到 0 结束,查询结果是空,但游标值不为 0,表示遍历还没结束;

  • match pattern:正则匹配字段;

  • count:限定服务器单次遍历的字典槽位数量(约等于),只是对增量式迭代命令的一种提示(hint),并不是查询结果返回的最大数量,它的默认值是 10。

  • 测试结果和预期不太一样,即便设置count为1,但结果不固定。ount 只是限定服务器单次遍历的字典槽位数量(约等于),而不是规定返回结果的 count 值。

HSCAN

  • hscan key cursor [MATCH pattern] [COUNT count]
127.0.0.1:6379> HSCAN mUser 0 match user* count 1
1) "0"
2)   1) "user:94"
     2) "94"
     3) "user:95"
     4) "95"
     5) "user:92"
     6) "92"
     7) "user:93"
     8) "93"
     9) "user:98"
    10) "98"
    11) "user:99"
# 返回了所有的元素

SSCAN

  • sscan key cursor [MATCH pattern] [COUNT count]
127.0.0.1:6379> sscan sUser 0 match 1* count 1
1) "0"
2)  1) "1"
    2) "10"
    3) "11"
    4) "12"
    5) "13"
    6) "14"
    7) "15"
    8) "16"
    9) "17"
   10) "18"
   11) "19"

ZSCAN

  • zscan key cursor [MATCH pattern] [COUNT count]
127.0.0.1:6379> zscan zUser 0 match u* count 10
1) "0"
2)   1) "user:0"
     2) "0"
     3) "user:1"
     4) "1"
     5) "user:2"
     6) "2"
# 返回了所有的元素

测试代码

  • 实现代码发现没有游标,如果查询的数据太多还是redis还是会阻塞。
package cn.z201.redis;


import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.connection.RedisConnection;
import org.springframework.data.redis.connection.RedisZSetCommands;
import org.springframework.data.redis.core.Cursor;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.data.redis.core.ScanOptions;
import org.springframework.data.redis.serializer.RedisSerializer;
import org.springframework.stereotype.Component;

import java.util.*;


/**
 * @author z201.coding@gmail.com
 **/
@Slf4j
@Component
public class ScanTool {

    @Autowired
    private RedisTemplate redisTemplate;

    /**
     * SCAN 命令是一个基于游标的迭代器(cursor based iterator): SCAN 命令每次被调用之后, 都会向用户返回一个新的游标,
     * 用户在下次迭代时需要使用这个新游标作为 SCAN 命令的游标参数, 以此来延续之前的迭代过程。
     * 当 SCAN 命令的游标参数被设置为 0 时, 服务器将开始一次新的迭代, 而当服务器向用户返回值为 0 的游标时, 表示迭代已结束。
     *
     * @param pattern
     * @param count
     * @return
     */
    public Set<String> scan(String pattern, Integer count) {
        Set<String> keys = new HashSet<>();
        RedisConnection connection = redisTemplate.getConnectionFactory().getConnection();
        ScanOptions scanOptions = ScanOptions.scanOptions()
                .match(pattern)
                .count(count)
                .build();
        Cursor<byte[]> cursor = connection.scan(scanOptions);
        while (cursor.hasNext()) {
            keys.add(new String(cursor.next()));
        }
        return keys;
    }

    /**
     * {@link = http://redisdoc.com/database/scan.html#hscan}
     * <p>
     * 可用版本: >= 2.8.0
     * 时间复杂度:增量式迭代命令每次执行的复杂度为 O(1) , 对数据集进行一次完整迭代的复杂度为 O(N) , 其中 N 为数据集中的元素数量。
     *
     * @param key
     * @param pattern
     * @param count
     * @return
     */
    public Map<String,String> hScan(String key,String pattern, Integer count) {
        Map<String,String> map = new HashMap<>();
        RedisSerializer<String> stringRedisSerializer = redisTemplate.getStringSerializer();
        RedisConnection connection = redisTemplate.getConnectionFactory().getConnection();
        ScanOptions scanOptions = ScanOptions.scanOptions()
                .match(pattern)
                .count(count)
                .build();
        Cursor<Map.Entry<byte[], byte[]>> cursor = connection.hScan(stringRedisSerializer.serialize(key),scanOptions);
        while (cursor.hasNext()) {
            Map.Entry<byte[], byte[]> data = cursor.next();
            if (null != data) {
                map.put(stringRedisSerializer.deserialize(data.getKey()),stringRedisSerializer.deserialize(data.getValue()));
            }
        }
        return map;
    }

    /**
     * {@link = http://redisdoc.com/database/scan.html#sscan}
     * <p>
     * 可用版本: >= 2.8.0
     * 时间复杂度:增量式迭代命令每次执行的复杂度为 O(1) , 对数据集进行一次完整迭代的复杂度为 O(N) , 其中 N 为数据集中的元素数量。
     *
     * @param key
     * @param pattern
     * @param count
     * @return
     */
    public Set<String> sScan(String key, String pattern, Integer count) {
        Set<String> set = new HashSet<>();
        RedisSerializer<String> stringRedisSerializer = redisTemplate.getStringSerializer();
        RedisConnection connection = redisTemplate.getConnectionFactory().getConnection();
        ScanOptions scanOptions = ScanOptions.scanOptions()
                .match(pattern)
                .count(count)
                .build();
        Cursor<byte[]> cursor = connection.sScan(stringRedisSerializer.serialize(key),scanOptions);
        while (cursor.hasNext()) {
            byte[] data = cursor.next();
            if (null != data) {
                set.add(stringRedisSerializer.deserialize(data));
            }
        }
        return set;
    }

    /**
     * {@link = http://redisdoc.com/database/scan.html#zscan}
     * <p>
     * 可用版本: >= 2.8.0
     * 时间复杂度:增量式迭代命令每次执行的复杂度为 O(1) , 对数据集进行一次完整迭代的复杂度为 O(N) , 其中 N 为数据集中的元素数量。
     *
     * @param key
     * @param pattern
     * @param count
     * @return
     */
    public Map<String,Long> zScan(String key, String pattern, Integer count) {
        Map<String,Long> map = new HashMap<>();
        RedisSerializer<String> stringRedisSerializer = redisTemplate.getStringSerializer();
        RedisConnection connection = redisTemplate.getConnectionFactory().getConnection();
        ScanOptions scanOptions = ScanOptions.scanOptions()
                .match(pattern)
                .count(count)
                .build();
        Cursor<RedisZSetCommands.Tuple> cursor = connection.zScan(stringRedisSerializer.serialize(key),scanOptions);
        while (cursor.hasNext()) {
            RedisZSetCommands.Tuple data = cursor.next();
            if (null != data) {
                map.put(stringRedisSerializer.deserialize(data.getValue()),data.getScore().longValue());
            }
        }
        return map;
    }

}

    @Test
    @Disabled
    public void test() {
        Set<String> keys = scanTool.scan("user:*", 10);
        log.info("{}", keys.size());
        log.info("{}", keys);
        Map<String, String> userMap = scanTool.hScan("mUser", "user:1*", 10);
        log.info("{}", userMap.size());
        log.info("{}", userMap);
        Map<String, Long> userZMap = scanTool.zScan("zUser", "user:1*", 10);
        log.info("{}", userZMap.size());
        log.info("{}", userZMap);
        Set<String> userSMap = scanTool.sScan("sUser", "1*", 10);
        log.info("{}", userSMap.size());
        log.info("{}", userSMap);
    }
  • Console
[main]  100
[main]  [user:14, user:15, user:12, user:13, user:18, user:19, user:16, user:17, user:94, user:95, user:92, user:93, user:10, user:98, user:11, user:99, user:96, user:97, user:90, user:91, user:89, user:83, user:84, user:81, user:82, user:87, user:88, user:85, user:86, user:80, user:36, user:37, user:34, user:35, user:38, user:39, user:32, user:33, user:30, user:31, user:9, user:8, user:7, user:2, user:25, user:26, user:1, user:0, user:23, user:24, user:6, user:29, user:5, user:27, user:4, user:3, user:28, user:21, user:22, user:20, user:58, user:59, user:56, user:57, user:50, user:51, user:54, user:55, user:52, user:53, user:47, user:48, user:45, user:46, user:49, user:40, user:43, user:44, user:41, user:42, user:78, user:79, user:72, user:73, user:70, user:71, user:76, user:77, user:74, user:75, user:69, user:67, user:68, user:61, user:62, user:60, user:65, user:66, user:63, user:64]
[main]  11
[main]  {user:10=10, user:11=11, user:14=14, user:1=1, user:15=15, user:12=12, user:13=13, user:18=18, user:19=19, user:16=16, user:17=17}
[main]  11
[main]  {user:10=10, user:11=11, user:14=14, user:1=1, user:15=15, user:12=12, user:13=13, user:18=18, user:19=19, user:16=16, user:17=17}
[main]  11
[main]  [11, 1, 12, 13, 14, 15, 16, 17, 18, 19, 10]

小结

SCAN 系列以游标替代 KEYS 做增量遍历,单次复杂度 O(1),但可能返回重复元素且 count 只是槽位提示;返回空结果而游标非 0 时遍历尚未结束。

最近更新: 2026/11/20 22:16
Contributors: 庆峰
Prev
Netty:线程模型与网络编程
Next
Jenkins:单机部署与升级脚本