架构视界
主页
企业架构
  • 方案总览
  • 业财一体
  • 企业中台
  • 组织与绩效
  • 流程治理
数据收集与分析
  • 转型总览
  • 信息化阶段
  • 数字化解决方案
  • 智数化解决方案
  • 智能化解决方案
  • 产品设计
  • 项目管理
全栈软件工程
AI 原生软件工程
方法论
博客
  • 资源导航
  • 效率工具
  • 展示专区
主页
企业架构
  • 方案总览
  • 业财一体
  • 企业中台
  • 组织与绩效
  • 流程治理
数据收集与分析
  • 转型总览
  • 信息化阶段
  • 数字化解决方案
  • 智数化解决方案
  • 智能化解决方案
  • 产品设计
  • 项目管理
全栈软件工程
AI 原生软件工程
方法论
博客
  • 资源导航
  • 效率工具
  • 展示专区
  • 标签索引
  • 2024年

    • 勇闯大A:美债与美元周期
    • 勇闯大A:交易纪律与自我管理
    • 勇闯大A:交易系统分层
    • 勇闯大A:买卖点与止损规则
    • 勇闯大A:债券与资金流向
    • 勇闯大A:微观、宏观与周期
    • Mac 开发环境:新机配置清单
    • 勇闯大A:内外盘与换手率
    • 会计管理:财报阅读与管理报表
    • 会计基础:记账原理与分录
    • 财务入门:财务体系全景
  • 2023年

    • 境外投资:泰国 BOI 申请实务
  • 2022年

    • 企业架构:故障管理与分级响应
    • 企业架构:技术债务的识别、度量与偿还
  • 2021年

    • Python 数据分析:员工分布可视化
    • Python 数据分析:IP 访问折线图
    • Python 数据分析:IP 词云图
    • Redis:RediSearch 全文检索
    • Rust 基础:第一个 CLI 程序
    • Rust 基础:所有权机制
    • Rust 基础:函数与控制流
    • Rust 基础:变量与数据类型
    • Rust 基础:入门与开发环境
    • 企业架构:分布式系统设计
    • 企业架构:编程式权限设计
    • JVM 调优:启动参数与 GC 日志
    • MyBatis 批量插入:三种写法对比
    • 测试:Spring Boot 分层 Mock
    • Redis:布隆过滤器判断元素存在
    • Jenkins:安装配置与应用部署
    • WebClient:非阻塞 HTTP 客户端
    • Drone:Docker 部署轻量 CI
    • Spring AOP:操作审计日志落库
    • Redisson:分布式锁与 RedLock
    • MyBatis 拦截器:雪花算法主键
    • Netty:线程模型与网络编程
    • Redis:SCAN 游标遍历大键空间
    • Jenkins:单机部署与升级脚本
    • Mac:Neo4j 与 Jupyter 安装
    • JavaFX:OpenJDK 11 环境配置
    • Mac:用 jenv 管理 JDK 版本
    • Redis:有序集合实现延时队列
    • Spring Boot 日志:MDC 串联链路
    • 定时任务:Spring 调度与 Cron
    • GoAccess:Nginx 日志分析
    • MyBatis 拦截器:慢 SQL 分析
    • Lucene:倒排索引与中文分词
    • 分布式锁:三种实现方案对比
    • 学习技巧:减少学习排斥心理
    • 动态数据源:多租户数据路由
    • Compose:Spring Boot 三件套
    • Java 阻塞队列:源码与用法
    • Redis:Docker Compose 哨兵
    • Redis:Docker Compose 主从
    • 网络通信:TCP/IP 与 HTTP 基础
  • 2020年

    • 延时队列:DelayQueue 与 Redis 实现
    • MySQL 基础:员工库导入实践
    • 雪花算法:分布式 ID 生成
    • Redis:地理位置查询
    • 抓包:Wireshark 与 Tcpdump
    • SPI:JDK 与 Spring 扩展机制
    • ZooKeeper:概念与集群搭建
    • Spring Boot:集成 JMH 基准测试
    • Wireshark:抓包工具入门
    • Compose:Redis 与 MySQL
    • CentOS 7:Docker 安装部署
    • Netty:源码阅读环境搭建
    • MySQL 基础:SQL 常见用法
    • CentOS 7:Selenium 运行环境
    • Nginx:HTTPS 证书配置
    • JMH:基准测试与 Spring Boot 集成
    • Spring Boot:指定 Tomcat 版本
    • Eureka:实例上下线告警
    • 钉钉告警:应用异常与实例上下线
    • JVM:内存布局、类加载与调优
    • Git:rebase 合并多次提交
    • CentOS 7:OpenResty 部署
  • 2019年

    • Redis CLI:macOS 安装与使用
    • Nginx:访问日志格式
    • 工程规范:可维护代码的写法
    • IntelliJ IDEA:常用插件
    • SkyWalking:源码阅读环境搭建
    • Spring Boot:Redis 超时配置
    • gRPC:ProtoBuf 定义与代码生成
    • Arthas:Java 线上问题诊断
    • Redis:缓存穿透与击穿防护
    • Docker 部署:Elasticsearch
    • Docker 部署:MySQL 5.7 单机
    • Spring Redis:字符串命令封装
    • Docker 部署:ZooKeeper 运行
    • Docker 部署:Redis 单机运行
    • Dubbo:Spring Boot 微服务集成
    • CentOS 7:CMake 源码编译安装
    • 性能度量:吞吐量与 QPS 指标
    • Java 递归:从笔试题到经典问题
    • CentOS 7:ELK 日志平台部署
    • CentOS 7:SonarQube 部署
    • Selenium:Chrome 浏览器自动化
    • JJWT:令牌生成与解析测试
    • Spring 源码:阅读环境搭建
    • JUnit 4:注解、断言与参数化
    • JWT:令牌结构与签名机制
    • FastDFS:架构与文件存取机制
    • XPath:XML 文档节点定位
    • Redis 基础:锁、队列与事务
    • Redis 基础:数据类型与命令
    • MyBatis:Slf4j 日志接入
    • MyBatis:H2 单元测试与 SQL 日志
    • 源码阅读:开源项目环境搭建
    • Git 配置:命令清单与作用域
    • Java 核心:面向对象与基础类型
    • Java 核心:关键字、异常与反射
    • Java 核心:多线程基础
    • Java 核心:同步关键字与线程池
    • Java 核心:锁与并发工具
    • Java 核心:语言基础与并发
    • Dubbo:远程调用与服务治理
    • Java 集合:框架总览与实现对比
    • Maven:生命周期与常用命令
    • MyBatis:执行流程与插件机制
    • Spring:IoC 容器与依赖注入
    • Spring:AOP 与自动装配
    • Spring:事务与启动流程
    • Spring:IoC、AOP 与事务
    • Spring MVC:请求分发与注解
    • MySQL:架构与索引
    • MySQL:事务、锁与 MVCC
    • MySQL:日志与 SQL 优化
    • MySQL:架构、事务与优化
    • Redis 基础:持久化与线程模型
  • 2018年

    • Java HashMap:扩容机制与哈希冲突
    • Java 集合:HashSet 去重原理
    • Java 基础:交换两个变量的值
    • Spring MVC:零 web.xml 改造
    • Mac 开发环境:新机配置清单
    • Log4j:日志分级与按业务拆分
    • Modbus:工业通信协议与 RTU 帧
    • MySQL 基础:子查询与连接查询
    • MySQL 基础:库与表操作
    • MySQL 基础:表操作与查询
    • MySQL 基础:约束、引擎与数据类型
    • MySQL 基础:库表、约束与类型
    • Java 集合:Vector 与 Stack
    • Java 集合:Vector 与 Stack
    • RabbitMQ:CentOS 7 单机部署
    • Redis:CentOS 7 单机部署
    • MongoDB:CentOS 7 单机部署
    • Linux:常用系统与运维命令
    • 注册中心:Eureka 与 ZooKeeper
    • MySQL:CentOS 7 单机部署
    • Git 分支:主分支与临时分支
    • CentOS 7:Java 开发环境部署
    • Java 集合:LinkedList 双向链表
    • Java 集合:ArrayList 动态数组
    • Spring AOP:注解方式实现切面
← 返回博客

Redis:RediSearch 全文检索

2021年12月3日 #数据与存储 #Redis

RediSearch 是一个高性能的全文搜索引擎,它可以作为一个 Redis Module(扩展模块)运行在 Redis 服务器上。

RediSearch

  • Redis 哈希中多个字段的全文索引
  • 无性能损失的增量索引
  • 文档排名(使用tf-idf,具有可选的用户提供的权重)
  • 场加权
  • 使用 AND、OR 和 NOT 运算符的复杂布尔查询
  • 前缀匹配、模糊匹配和精确短语查询
  • 支持双变音拼音匹配
  • 自动完成建议(带有模糊前缀建议)
  • 多种语言中基于词干的查询扩展(使用Snowball)
  • 支持中文标记化和查询(使用Friso)
  • 数字过滤器和范围
  • 使用Redis 地理空间索引进行地理空间搜索
  • 强大的聚合引擎
  • 支持所有 utf-8 编码文本
  • 检索完整文档、选定字段或仅检索文档 ID
  • 排序结果(例如,按创建日期)

官方文档

  • Commands

运行环境

  • docker
mkdir -p redisearch/data
docker run -p 6379:6379 -v $PWD/redisearch/data:/data  -d redislabs/redisearch:latest 
  • 检查安装
➜  docker-run redis-cli 
127.0.0.1:6379> MODULE LIST
1) 1) "name"
   2) "search"
   3) "ver"
   4) (integer) 20015
127.0.0.1:6379> exit
  • 测试下
127.0.0.1:6379> FT.ADD idx docCn 1.0 LANGUAGE chinese FIELDS txt "Redis支持主从同步。数据可以从主服务器向任意数量的从服务器上同步,从服务器可以是关联其他从服务器的主服务器。这使得Redis可执行单层树复制。从盘可以有意无意的对数据进行写操作。由于完全实现了发布/订阅机制,使得从数据库在任何地方同步树时,可订阅一个频道并接收主服务器完整的消息发布记录。同步对读取操作的可扩展性和数据冗余很有帮助。[8]"
OK
127.0.0.1:6379> FT.SEARCH idx "数据" LANGUAGE chinese HIGHLIGHT SUMMARIZE
1) (integer) 1
2) "docCn"
3) 1) "txt"
   2) "<b>\xe6\x95\xb0\xe6\x8d\xae</b>\xe5... <b>\xe6\x95\xb0\xe6\x8d\xae</b>\xe8\xbf\x9b\xe8\xa1\x8c\xe5\x86\x99\xe6\x93\x8d\xe4\xbd\x9c\xe3\x80\x82\xe7\x94\xb1\xe4\xba\x8e\xe5\xae\x8c\xe5\x85\xa8\xe5\xae\x9e\xe7\x8e\xb0\xe4\xba\x86\xe5\x8f\x91\xe5\xb8\x83... <b>\xe6\x95\xb0\xe6\x8d\xae</b>\xe5\x86\x97\xe4\xbd\x99\xe5\xbe\x88\xe6\x9c\x89\xe5\xb8\xae\xe5\x8a\xa9\xe3\x80\x82[8... "

  • 对中文支持不够好

代码演示

  • Spring boot 2.6.0

  • spring-lettucemod 1.8.1

  • 注意这里需要排除commons-pool2

项目依赖


   <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.6.0</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>
    
<dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-redis</artifactId>
        </dependency>

        <dependency>
            <groupId>com.redis</groupId>
            <artifactId>spring-lettucemod</artifactId>
            <version>1.8.1</version>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>

        <dependency>
            <groupId>com.google.code.gson</groupId>
            <artifactId>gson</artifactId>
        </dependency>
</dependencies>
  • 单元测试

    @Autowired
    StatefulRedisModulesConnection<String, String> connection;

    @Autowired
    RedisTemplate redisTemplate;

    @Test
    public void search() {
        Set<String> keys = redisTemplate.keys("*");
        keys.forEach(item -> {
                    redisTemplate.delete(item);
                    log.info(" keys - > {} ", item);
                }
        );
        String searchIndexName = "doc-idx";
        Gson gson = new GsonBuilder().setPrettyPrinting().create();
        RediSearchCommands<String, String> commands = connection.sync();
        RedisCommands redisCommands = connection.sync();
        List<String> list = commands.list();
        for (String s : list) {
            commands.dropindex(s);
        }
        CreateOptions<String, String> options = CreateOptions.<String, String>builder()
                .on(CreateOptions.DataType.HASH)
                .languageField(Language.CHINESE.getId())
                .prefix(String.format("%s:", DocumentDto.class.getName()))
                .build();
        log.info("{}",gson.toJson(options));
        Field title = Field.text("title").build();
        Field subtitle = Field.text("subtitle").build();
        Field description = Field.text("description").build();
        Field author = Field.text("authors").build();
        commands.create(
                searchIndexName, //
                options, //
                title,
                subtitle,
                description, //
                author
        );
        String key = String.format("%s:%s", DocumentDto.class.getName(), "1");
        Map<String,String> map = new HashMap<>();
        map.put("title","标题");
        map.put("subtitle","副标题");
        map.put("description","描述");
        map.put("authors","作者");
        Boolean result = redisHash.hMSet(key,map);
        log.info(" \n key {} \n data {} result {} ", key,gson.toJson(map),result);
        map = new HashMap<>();
        map.put("title","标题1");
        map.put("subtitle","副标题2");
        map.put("description","描述3");
        map.put("authors","作者4");
        key = String.format("%s:%s", DocumentDto.class.getName(), "2");
        result = redisHash.hMSet(key,map);
        log.info(" \n key {} \n data {} result {} ", key,gson.toJson(map),result);
        List<String> fields = new ArrayList<>();
        fields.add("title");
        fields.add("subtitle");
        fields.add("description");
        fields.add("authors");
        SearchOptions.Summarize summarize = new SearchOptions.Summarize();
        summarize.setFields(fields);
        SearchOptions searchOptions = SearchOptions.builder()
                .language(Language.CHINESE)
                .limit(SearchOptions.Limit.of(0,10))
                .summarize(summarize)
                .build();
        log.info(" searchOptions {}",gson.toJson(searchOptions));
        SearchResults<String, String> results = commands.search(searchIndexName, "标", searchOptions);
        log.info("{}", gson.toJson(results));
    }

  • Console
key cn.z201.learning.redis.operating.DocumentDto:1 
 data {
  "subtitle": "副标题",
  "description": "描述",
  "title": "标题",
  "authors": "作者"
} result true 

 key cn.z201.learning.redis.operating.DocumentDto:2 
 data {
  "subtitle": "副标题2",
  "description": "描述3",
  "title": "标题1",
  "authors": "作者4"
} result true 

// 结果
[
  {
    "title": "标题1... ",
    "subtitle": "�",
    "description": "�",
    "authors": "�"
  },
  {
    "title": "标题... ",
    "subtitle": "�",
    "description": "�",
    "authors": "�"
  }
]
  • 结果很不友好,对中文支持一般般。

小结

RediSearch 作为 Redis 模块提供哈希多字段索引、布尔与前缀查询,启动后用 MODULE LIST 确认为 search 模块;中文要加 LANGUAGE chinese,但高亮与摘要结果仍有乱码,中文场景支撑有限。

最近更新: 2026/11/20 22:16
Contributors: 庆峰
Prev
Python 数据分析:IP 词云图
Next
Rust 基础:第一个 CLI 程序