架构视界
主页
企业架构
  • 方案总览
  • 业财一体
  • 企业中台
  • 组织与绩效
  • 流程治理
数据收集与分析
  • 转型总览
  • 信息化阶段
  • 数字化解决方案
  • 智数化解决方案
  • 智能化解决方案
  • 产品设计
  • 项目管理
全栈软件工程
AI 原生软件工程
方法论
博客
  • 资源导航
  • 效率工具
  • 展示专区
主页
企业架构
  • 方案总览
  • 业财一体
  • 企业中台
  • 组织与绩效
  • 流程治理
数据收集与分析
  • 转型总览
  • 信息化阶段
  • 数字化解决方案
  • 智数化解决方案
  • 智能化解决方案
  • 产品设计
  • 项目管理
全栈软件工程
AI 原生软件工程
方法论
博客
  • 资源导航
  • 效率工具
  • 展示专区
  • 标签索引
  • 2024年

    • 勇闯大A:美债与美元周期
    • 勇闯大A:交易纪律与自我管理
    • 勇闯大A:交易系统分层
    • 勇闯大A:买卖点与止损规则
    • 勇闯大A:债券与资金流向
    • 勇闯大A:微观、宏观与周期
    • Mac 开发环境:新机配置清单
    • 勇闯大A:内外盘与换手率
    • 会计管理:财报阅读与管理报表
    • 会计基础:记账原理与分录
    • 财务入门:财务体系全景
  • 2023年

    • 境外投资:泰国 BOI 申请实务
  • 2022年

    • 企业架构:故障管理与分级响应
    • 企业架构:技术债务的识别、度量与偿还
  • 2021年

    • Python 数据分析:员工分布可视化
    • Python 数据分析:IP 访问折线图
    • Python 数据分析:IP 词云图
    • Redis:RediSearch 全文检索
    • Rust 基础:第一个 CLI 程序
    • Rust 基础:所有权机制
    • Rust 基础:函数与控制流
    • Rust 基础:变量与数据类型
    • Rust 基础:入门与开发环境
    • 企业架构:分布式系统设计
    • 企业架构:编程式权限设计
    • JVM 调优:启动参数与 GC 日志
    • MyBatis 批量插入:三种写法对比
    • 测试:Spring Boot 分层 Mock
    • Redis:布隆过滤器判断元素存在
    • Jenkins:安装配置与应用部署
    • WebClient:非阻塞 HTTP 客户端
    • Drone:Docker 部署轻量 CI
    • Spring AOP:操作审计日志落库
    • Redisson:分布式锁与 RedLock
    • MyBatis 拦截器:雪花算法主键
    • Netty:线程模型与网络编程
    • Redis:SCAN 游标遍历大键空间
    • Jenkins:单机部署与升级脚本
    • Mac:Neo4j 与 Jupyter 安装
    • JavaFX:OpenJDK 11 环境配置
    • Mac:用 jenv 管理 JDK 版本
    • Redis:有序集合实现延时队列
    • Spring Boot 日志:MDC 串联链路
    • 定时任务:Spring 调度与 Cron
    • GoAccess:Nginx 日志分析
    • MyBatis 拦截器:慢 SQL 分析
    • Lucene:倒排索引与中文分词
    • 分布式锁:三种实现方案对比
    • 学习技巧:减少学习排斥心理
    • 动态数据源:多租户数据路由
    • Compose:Spring Boot 三件套
    • Java 阻塞队列:源码与用法
    • Redis:Docker Compose 哨兵
    • Redis:Docker Compose 主从
    • 网络通信:TCP/IP 与 HTTP 基础
  • 2020年

    • 延时队列:DelayQueue 与 Redis 实现
    • MySQL 基础:员工库导入实践
    • 雪花算法:分布式 ID 生成
    • Redis:地理位置查询
    • 抓包:Wireshark 与 Tcpdump
    • SPI:JDK 与 Spring 扩展机制
    • ZooKeeper:概念与集群搭建
    • Spring Boot:集成 JMH 基准测试
    • Wireshark:抓包工具入门
    • Compose:Redis 与 MySQL
    • CentOS 7:Docker 安装部署
    • Netty:源码阅读环境搭建
    • MySQL 基础:SQL 常见用法
    • CentOS 7:Selenium 运行环境
    • Nginx:HTTPS 证书配置
    • JMH:基准测试与 Spring Boot 集成
    • Spring Boot:指定 Tomcat 版本
    • Eureka:实例上下线告警
    • 钉钉告警:应用异常与实例上下线
    • JVM:内存布局、类加载与调优
    • Git:rebase 合并多次提交
    • CentOS 7:OpenResty 部署
  • 2019年

    • Redis CLI:macOS 安装与使用
    • Nginx:访问日志格式
    • 工程规范:可维护代码的写法
    • IntelliJ IDEA:常用插件
    • SkyWalking:源码阅读环境搭建
    • Spring Boot:Redis 超时配置
    • gRPC:ProtoBuf 定义与代码生成
    • Arthas:Java 线上问题诊断
    • Redis:缓存穿透与击穿防护
    • Docker 部署:Elasticsearch
    • Docker 部署:MySQL 5.7 单机
    • Spring Redis:字符串命令封装
    • Docker 部署:ZooKeeper 运行
    • Docker 部署:Redis 单机运行
    • Dubbo:Spring Boot 微服务集成
    • CentOS 7:CMake 源码编译安装
    • 性能度量:吞吐量与 QPS 指标
    • Java 递归:从笔试题到经典问题
    • CentOS 7:ELK 日志平台部署
    • CentOS 7:SonarQube 部署
    • Selenium:Chrome 浏览器自动化
    • JJWT:令牌生成与解析测试
    • Spring 源码:阅读环境搭建
    • JUnit 4:注解、断言与参数化
    • JWT:令牌结构与签名机制
    • FastDFS:架构与文件存取机制
    • XPath:XML 文档节点定位
    • Redis 基础:锁、队列与事务
    • Redis 基础:数据类型与命令
    • MyBatis:Slf4j 日志接入
    • MyBatis:H2 单元测试与 SQL 日志
    • 源码阅读:开源项目环境搭建
    • Git 配置:命令清单与作用域
    • Java 核心:面向对象与基础类型
    • Java 核心:关键字、异常与反射
    • Java 核心:多线程基础
    • Java 核心:同步关键字与线程池
    • Java 核心:锁与并发工具
    • Java 核心:语言基础与并发
    • Dubbo:远程调用与服务治理
    • Java 集合:框架总览与实现对比
    • Maven:生命周期与常用命令
    • MyBatis:执行流程与插件机制
    • Spring:IoC 容器与依赖注入
    • Spring:AOP 与自动装配
    • Spring:事务与启动流程
    • Spring:IoC、AOP 与事务
    • Spring MVC:请求分发与注解
    • MySQL:架构与索引
    • MySQL:事务、锁与 MVCC
    • MySQL:日志与 SQL 优化
    • MySQL:架构、事务与优化
    • Redis 基础:持久化与线程模型
  • 2018年

    • Java HashMap:扩容机制与哈希冲突
    • Java 集合:HashSet 去重原理
    • Java 基础:交换两个变量的值
    • Spring MVC:零 web.xml 改造
    • Mac 开发环境:新机配置清单
    • Log4j:日志分级与按业务拆分
    • Modbus:工业通信协议与 RTU 帧
    • MySQL 基础:子查询与连接查询
    • MySQL 基础:库与表操作
    • MySQL 基础:表操作与查询
    • MySQL 基础:约束、引擎与数据类型
    • MySQL 基础:库表、约束与类型
    • Java 集合:Vector 与 Stack
    • Java 集合:Vector 与 Stack
    • RabbitMQ:CentOS 7 单机部署
    • Redis:CentOS 7 单机部署
    • MongoDB:CentOS 7 单机部署
    • Linux:常用系统与运维命令
    • 注册中心:Eureka 与 ZooKeeper
    • MySQL:CentOS 7 单机部署
    • Git 分支:主分支与临时分支
    • CentOS 7:Java 开发环境部署
    • Java 集合:LinkedList 双向链表
    • Java 集合:ArrayList 动态数组
    • Spring AOP:注解方式实现切面
← 返回博客

Lucene:倒排索引与中文分词

2021年2月2日 #数据与存储 #Java

Lucene

在Java领域常用的搜索框架鼻祖Lucene,现在常用的Solr和ElasticSearch底层都是基于Lucene

  • 倒排索引算法

  • 索引和搜索,索引是现代搜索引擎的核心,建立索引的过程就是把源数据处理成非常方便查询的索引文件的过程。

luke

  • 可以分词文件内容,这里需要注意版本。

ik-analyzer

分词器,Lucene对中文支持不友好,这里使用开源的分词器。

  • 由于在maven仓库中找不到,所以需要手动编译。这里需要注意版本分支,比如我使用的是8.4所以要切换到8.4的版本。和lucene库版本统一。
  • mvn clean install -Dmaven.test.skip=true 构建版本,如果要部署可以将jar部署到自己的私有仓库,或者直接已lib方式引入项目。

源码了解

  • Document 文档 是 Lucene 内部的数据结构,索引文档时,会按照一定规则去创建索引,生成倒排索引文件。

  • Field 直接为文档创建字段,它是搜索和索引的单位,也是字段的集合。

  • Term 这是搜索的单位。它由两个元素组成 key、value。

  • StandardAnalyzer 分词的目的是为了索引,索引的目的是为了搜索,就像查字典一样。ik-analyzer就是中文分词器。

演示代码

/**
 * @author z201.coding@gmail.com
 **/
@RestController
@Slf4j
public class AppController {

    @Value(value = "${analyzer.path}")
    private String path;

    @RequestMapping(value = "add")
    public Object add() {
        ArticleVo articleEntity = new ArticleVo();
        String test = RandomUtil.randomString(10);
        articleEntity.setId(test);
        articleEntity.setTitle(test);
        articleEntity.setContent(test);
        addOrUpIndex(articleEntity);
        Map<String, Object> data = new HashMap<>();
        data.put("code", "200");
        data.put("data", articleEntity);
        return data;
    }

    @RequestMapping(value = "list/{keyWord}")
    public Object list(@PathVariable(required = false) String keyWord) {
        if (StrUtil.isEmpty(keyWord)) {
            keyWord = Strings.EMPTY;
        }
        List<ArticleVo> articleEntityList = fullTextSearch(keyWord, 1, 10);
        Map<String, Object> data = new HashMap<>();
        data.put("code", "200");
        data.put("data", articleEntityList);
        return data;
    }

    @RequestMapping(value = "search")
    public Object search() {
        List<ArticleVo> articleEntityList = fullTextSearch(null, 1, 10);
        Map<String, Object> data = new HashMap<>();
        data.put("code", "200");
        data.put("data", articleEntityList);
        return data;
    }

    @RequestMapping(value = "del/{id}")
    public Object del(@PathVariable(required = false) String id) {
        if (!StrUtil.isEmpty(id)) {
            deleteIndex(id);
        }
        Map<String, Object> data = new HashMap<>();
        data.put("code", "200");
        data.put("data", id);
        return data;
    }

    private void addOrUpIndex(ArticleVo entity) {
        IndexWriter indexWriter = null;
        IndexReader indexReader = null;
        Directory directory = null;
        Analyzer analyzer = null;
        try {
            //创建索引目录文件
            File indexFile = new File(path);
            File[] files = indexFile.listFiles();
            // 1. 创建分词器,分析文档,对文档进行分词
            analyzer = new IKAnalyzer();
            // 2. 创建Directory对象,声明索引库的位置
            directory = FSDirectory.open(Paths.get(path));
            // 3. 创建IndexWriteConfig对象,写入索引需要的配置
            IndexWriterConfig writerConfig = new IndexWriterConfig(analyzer);
            // 4.创建IndexWriter写入对象
            indexWriter = new IndexWriter(directory, writerConfig);
            // 5.写入到索引库,通过IndexWriter添加文档对象document
            Document doc = new Document();
            //查询是否有该索引,没有添加,有则更新
            TopDocs topDocs = null;
            //判断索引目录文件是否存在文件,如果没有文件,则为首次添加,有文件,则查询id是否已经存在
            if (files != null && files.length != 0) {
                //创建查询对象
                QueryParser queryParser = new QueryParser("id", analyzer);
                Query query = queryParser.parse(String.valueOf(entity.getId()));
                indexReader = DirectoryReader.open(directory);
                IndexSearcher indexSearcher = new IndexSearcher(indexReader);
                //查询获取命中条目
                topDocs = indexSearcher.search(query, 1);
            }
            //StringField 不分词 直接建索引 存储
            doc.add(new StringField("id", String.valueOf(entity.getId()), Field.Store.YES));
            //TextField 分词 建索引 存储
            doc.add(new TextField("title", entity.getTitle(), Field.Store.YES));
            //TextField 分词 建索引 存储
            doc.add(new TextField("content", entity.getContent(), Field.Store.YES));
            //如果没有查询结果,添加
            if (topDocs != null && topDocs.totalHits.value == 0) {
                indexWriter.addDocument(doc);
                //否则,更新
            } else {
                indexWriter.updateDocument(new Term("id", String.valueOf(entity.getId())), doc);
            }
        } catch (Exception e) {
            log.error("添加索引库出错 {}", e.getMessage());
            throw new RuntimeException("添加索引库出错:" + e.getMessage());
        } finally {
            if (indexWriter != null) {
                try {
                    indexWriter.close();
                } catch (IOException e) {
                    log.error("indexWriter.close  {}", e.getMessage());
                }
            }
            if (indexReader != null) {
                try {
                    indexReader.close();
                } catch (IOException e) {
                    log.error("indexReader.close  {}", e.getMessage());
                }
            }
            if (directory != null) {
                try {
                    directory.close();
                } catch (IOException e) {
                    log.error("directory.close  {}", e.getMessage());
                }
            }
            if (analyzer != null) {
                analyzer.close();
            }
        }
    }

    /**
     * @param keyWord 查询条件
     * @param page    当前页
     * @param limit   页大小
     * @return
     */
    public List<ArticleVo> fullTextSearch(String keyWord, Integer page, Integer limit) {
        List<ArticleVo> searchList = new ArrayList<>(10);
        File indexFile = new File(path);
        File[] files = indexFile.listFiles();
        //沒有索引文件,不然沒有查詢結果
        if (files == null || files.length == 0) {
            return searchList;
        }
        IndexReader indexReader = null;
        Directory directory = null;
        try (Analyzer analyzer = new IKAnalyzer()) {
            directory = FSDirectory.open(Paths.get(path));
            //多项查询条件
            QueryParser queryParser = new MultiFieldQueryParser(new String[]{"title", "content"}, analyzer);
            //单项
            //QueryParser queryParser = new QueryParser("title", analyzer);
            Query query = queryParser.parse(!StrUtil.isEmpty(keyWord) ? keyWord : "*:*");
            indexReader = DirectoryReader.open(directory);
            //索引查询对象
            IndexSearcher indexSearcher = new IndexSearcher(indexReader);
            //  query 查询参数 ,  n - 指定返回排序以后的搜索结果的前n个
            TopDocs topDocs = indexSearcher.search(query, 1);
            // 计算记录起始数
            int start = (page - 1) * limit;
            //获取条数
            int total = (int) topDocs.totalHits.value;
            //获取结果集
            ScoreDoc lastSd = null;
            if (page > 1) {
                int num = limit * (page - 1);
                TopDocs tds = indexSearcher.search(query, start);
                lastSd = tds.scoreDocs[num - 1];
            }
            log.info("total {}", total);
            //通过最后一个元素去搜索下一页的元素 如果lastSd为null,查询第一页
             // 利用Luncene提供的SearchAfter方法进行查询,它可以根据指定的最后一个元素查询接下来指定数目的元素,但这需要我们查询出前n个元素然后取最后一个元素传给SearchAfter方法。
            TopDocs tds = indexSearcher.searchAfter(lastSd, query, limit);
            QueryScorer queryScorer = new QueryScorer(query);
            Highlighter highlighter = null;
            if (StrUtil.isNotEmpty(keyWord)) {
                //最佳摘要
                SimpleSpanFragmenter simpleSpanFragmenter = new SimpleSpanFragmenter(queryScorer, 200);
                //高亮前后标签
                SimpleHTMLFormatter formatter = new SimpleHTMLFormatter("<b><font color='red'>", "</font></b>");
                //高亮对象
                highlighter = new Highlighter(formatter, queryScorer);
                //设置高亮最佳摘要
                highlighter.setTextFragmenter(simpleSpanFragmenter);
            }
            //遍历查询结果 把标题和内容替换为带高亮的最佳摘要
            for (ScoreDoc sd : tds.scoreDocs) {
                Document doc = indexSearcher.doc(sd.doc);
                float score = sd.score;
                ArticleVo articleEntity = new ArticleVo();
                String id = doc.get("id");
                articleEntity.setId(id);
                articleEntity.setScore(score);
                if (StrUtil.isNotEmpty(keyWord)) {
                    //获取标题的最佳摘要
                    String titleBestFragment = highlighter.getBestFragment(analyzer, "title", doc.get("title"));
                    //获取文章内容的最佳摘要
                    String contentBestFragment = highlighter.getBestFragment(analyzer, "content", doc.get("content"));
                    articleEntity.setTitle(titleBestFragment);
                    articleEntity.setContent(contentBestFragment);
                } else {
                    articleEntity.setTitle(doc.get("title"));
                    articleEntity.setContent(doc.get("content"));
                }
                searchList.add(articleEntity);
            }
            return searchList;
        } catch (Exception e) {
            throw new RuntimeException("全文檢索出错:" + e.getMessage());
        } finally {
            if (indexReader != null) {
                try {
                    indexReader.close();
                } catch (IOException e) {
                    log.error("indexReader.close  {}", e.getMessage());
                }
            }
            if (directory != null) {
                try {
                    directory.close();
                } catch (IOException e) {
                    log.error("directory.close  {}", e.getMessage());
                }
            }
        }
    }

    private void deleteIndex(String id) {
        //删除全文检索
        IndexWriter indexWriter = null;
        Directory directory = null;
        try (Analyzer analyzer = new IKAnalyzer()) {
            directory = FSDirectory.open(Paths.get(path));
            IndexWriterConfig writerConfig = new IndexWriterConfig(analyzer);
            indexWriter = new IndexWriter(directory, writerConfig);
            //根据id字段进行删除
            indexWriter.deleteDocuments(new Term("id", id));
        } catch (Exception e) {
            e.printStackTrace();
            throw new RuntimeException("删除索引库出错:" + e.getMessage());
        } finally {
            if (indexWriter != null) {
                try {
                    indexWriter.close();
                } catch (IOException e) {
                    log.error("indexWriter.close  {}", e.getMessage());
                }
            }
            if (directory != null) {
                try {
                    directory.close();
                } catch (IOException e) {
                    log.error("directory.close  {}", e.getMessage());
                }
            }
        }
    }
}

小结

Document、Field、Term 构成倒排索引的基本单位,StringField 不分词、TextField 分词;ik-analyzer 须对齐 Lucene 8.4 手动编译,翻页先取上页末条。

最近更新: 2026/11/20 22:16
Contributors: 庆峰
Prev
MyBatis 拦截器:慢 SQL 分析
Next
分布式锁:三种实现方案对比