架构视界
主页
企业架构
  • 方案总览
  • 业财一体
  • 企业中台
  • 组织与绩效
  • 流程治理
数据收集与分析
  • 转型总览
  • 信息化阶段
  • 数字化解决方案
  • 智数化解决方案
  • 智能化解决方案
  • 产品设计
  • 项目管理
全栈软件工程
AI 原生软件工程
方法论
博客
  • 资源导航
  • 效率工具
  • 展示专区
主页
企业架构
  • 方案总览
  • 业财一体
  • 企业中台
  • 组织与绩效
  • 流程治理
数据收集与分析
  • 转型总览
  • 信息化阶段
  • 数字化解决方案
  • 智数化解决方案
  • 智能化解决方案
  • 产品设计
  • 项目管理
全栈软件工程
AI 原生软件工程
方法论
博客
  • 资源导航
  • 效率工具
  • 展示专区
  • 标签索引
  • 2024年

    • 勇闯大A:美债与美元周期
    • 勇闯大A:交易纪律与自我管理
    • 勇闯大A:交易系统分层
    • 勇闯大A:买卖点与止损规则
    • 勇闯大A:债券与资金流向
    • 勇闯大A:微观、宏观与周期
    • Mac 开发环境:新机配置清单
    • 勇闯大A:内外盘与换手率
    • 会计管理:财报阅读与管理报表
    • 会计基础:记账原理与分录
    • 财务入门:财务体系全景
  • 2023年

    • 境外投资:泰国 BOI 申请实务
  • 2022年

    • 企业架构:故障管理与分级响应
    • 企业架构:技术债务的识别、度量与偿还
  • 2021年

    • Python 数据分析:员工分布可视化
    • Python 数据分析:IP 访问折线图
    • Python 数据分析:IP 词云图
    • Redis:RediSearch 全文检索
    • Rust 基础:第一个 CLI 程序
    • Rust 基础:所有权机制
    • Rust 基础:函数与控制流
    • Rust 基础:变量与数据类型
    • Rust 基础:入门与开发环境
    • 企业架构:分布式系统设计
    • 企业架构:编程式权限设计
    • JVM 调优:启动参数与 GC 日志
    • MyBatis 批量插入:三种写法对比
    • 测试:Spring Boot 分层 Mock
    • Redis:布隆过滤器判断元素存在
    • Jenkins:安装配置与应用部署
    • WebClient:非阻塞 HTTP 客户端
    • Drone:Docker 部署轻量 CI
    • Spring AOP:操作审计日志落库
    • Redisson:分布式锁与 RedLock
    • MyBatis 拦截器:雪花算法主键
    • Netty:线程模型与网络编程
    • Redis:SCAN 游标遍历大键空间
    • Jenkins:单机部署与升级脚本
    • Mac:Neo4j 与 Jupyter 安装
    • JavaFX:OpenJDK 11 环境配置
    • Mac:用 jenv 管理 JDK 版本
    • Redis:有序集合实现延时队列
    • Spring Boot 日志:MDC 串联链路
    • 定时任务:Spring 调度与 Cron
    • GoAccess:Nginx 日志分析
    • MyBatis 拦截器:慢 SQL 分析
    • Lucene:倒排索引与中文分词
    • 分布式锁:三种实现方案对比
    • 学习技巧:减少学习排斥心理
    • 动态数据源:多租户数据路由
    • Compose:Spring Boot 三件套
    • Java 阻塞队列:源码与用法
    • Redis:Docker Compose 哨兵
    • Redis:Docker Compose 主从
    • 网络通信:TCP/IP 与 HTTP 基础
  • 2020年

    • 延时队列:DelayQueue 与 Redis 实现
    • MySQL 基础:员工库导入实践
    • 雪花算法:分布式 ID 生成
    • Redis:地理位置查询
    • 抓包:Wireshark 与 Tcpdump
    • SPI:JDK 与 Spring 扩展机制
    • ZooKeeper:概念与集群搭建
    • Spring Boot:集成 JMH 基准测试
    • Wireshark:抓包工具入门
    • Compose:Redis 与 MySQL
    • CentOS 7:Docker 安装部署
    • Netty:源码阅读环境搭建
    • MySQL 基础:SQL 常见用法
    • CentOS 7:Selenium 运行环境
    • Nginx:HTTPS 证书配置
    • JMH:基准测试与 Spring Boot 集成
    • Spring Boot:指定 Tomcat 版本
    • Eureka:实例上下线告警
    • 钉钉告警:应用异常与实例上下线
    • JVM:内存布局、类加载与调优
    • Git:rebase 合并多次提交
    • CentOS 7:OpenResty 部署
  • 2019年

    • Redis CLI:macOS 安装与使用
    • Nginx:访问日志格式
    • 工程规范:可维护代码的写法
    • IntelliJ IDEA:常用插件
    • SkyWalking:源码阅读环境搭建
    • Spring Boot:Redis 超时配置
    • gRPC:ProtoBuf 定义与代码生成
    • Arthas:Java 线上问题诊断
    • Redis:缓存穿透与击穿防护
    • Docker 部署:Elasticsearch
    • Docker 部署:MySQL 5.7 单机
    • Spring Redis:字符串命令封装
    • Docker 部署:ZooKeeper 运行
    • Docker 部署:Redis 单机运行
    • Dubbo:Spring Boot 微服务集成
    • CentOS 7:CMake 源码编译安装
    • 性能度量:吞吐量与 QPS 指标
    • Java 递归:从笔试题到经典问题
    • CentOS 7:ELK 日志平台部署
    • CentOS 7:SonarQube 部署
    • Selenium:Chrome 浏览器自动化
    • JJWT:令牌生成与解析测试
    • Spring 源码:阅读环境搭建
    • JUnit 4:注解、断言与参数化
    • JWT:令牌结构与签名机制
    • FastDFS:架构与文件存取机制
    • XPath:XML 文档节点定位
    • Redis 基础:锁、队列与事务
    • Redis 基础:数据类型与命令
    • MyBatis:Slf4j 日志接入
    • MyBatis:H2 单元测试与 SQL 日志
    • 源码阅读:开源项目环境搭建
    • Git 配置:命令清单与作用域
    • Java 核心:面向对象与基础类型
    • Java 核心:关键字、异常与反射
    • Java 核心:多线程基础
    • Java 核心:同步关键字与线程池
    • Java 核心:锁与并发工具
    • Java 核心:语言基础与并发
    • Dubbo:远程调用与服务治理
    • Java 集合:框架总览与实现对比
    • Maven:生命周期与常用命令
    • MyBatis:执行流程与插件机制
    • Spring:IoC 容器与依赖注入
    • Spring:AOP 与自动装配
    • Spring:事务与启动流程
    • Spring:IoC、AOP 与事务
    • Spring MVC:请求分发与注解
    • MySQL:架构与索引
    • MySQL:事务、锁与 MVCC
    • MySQL:日志与 SQL 优化
    • MySQL:架构、事务与优化
    • Redis 基础:持久化与线程模型
  • 2018年

    • Java HashMap:扩容机制与哈希冲突
    • Java 集合:HashSet 去重原理
    • Java 基础:交换两个变量的值
    • Spring MVC:零 web.xml 改造
    • Mac 开发环境:新机配置清单
    • Log4j:日志分级与按业务拆分
    • Modbus:工业通信协议与 RTU 帧
    • MySQL 基础:子查询与连接查询
    • MySQL 基础:库与表操作
    • MySQL 基础:表操作与查询
    • MySQL 基础:约束、引擎与数据类型
    • MySQL 基础:库表、约束与类型
    • Java 集合:Vector 与 Stack
    • Java 集合:Vector 与 Stack
    • RabbitMQ:CentOS 7 单机部署
    • Redis:CentOS 7 单机部署
    • MongoDB:CentOS 7 单机部署
    • Linux:常用系统与运维命令
    • 注册中心:Eureka 与 ZooKeeper
    • MySQL:CentOS 7 单机部署
    • Git 分支:主分支与临时分支
    • CentOS 7:Java 开发环境部署
    • Java 集合:LinkedList 双向链表
    • Java 集合:ArrayList 动态数组
    • Spring AOP:注解方式实现切面
← 返回博客

Spring AOP:操作审计日志落库

2021年3月15日 #后端开发 #Spring #MyBatis

数据审计

部分业务需要记录用户对操作行为,如果给每张表都做一个记录表,感觉冗余数据太多了。所以采用审计表存储相关日志信息。

实现方案

基于Spring Aop 织入方式对关键方法进行拦截,也可以通过方法进行拦截。

  • 基于注解,在方法上织入。
  • 基于普通方法,在业务逻辑中进行调用。
  • 批量写入、延时写入数据库可能会出现短时间部分数据的丢失,但是频繁写入会导致Mysql资源占用过多。
    • 使用java.util.concurrent.ConcurrentLinkedQueue 作为消费列队。每次最多消费消费10条日志记录批量写入数据库。
  • 在审计信息中添加业务执行链路标识、执行用户标识。方便排查问题。
    • 基于MDC记录链路标识。

演示效果

   /**
     * 无参数
     * @return
     */
    @MonitorAnnotation(audit = true, type = "查看", title = "首页")
    @RequestMapping(value = "")
    public Object index() {
        ...
    }

    /**
     * url占位符
     * @param key
     * @return
     */
    @RequestMapping(value = "/add{key}")
    public Object add(@PathVariable(required = false) String key) {
        if (Objects.isNull(key)) {
            key = Strings.EMPTY;
        }
        auditService.test(key);
         ...
    }

    /**
     * url参数
     * @param apiParam
     * @return
     */
    @MonitorAnnotation(audit = true, type = "查看", title = "api", descriptionExpression = "解析参数 #{[0].id}")
    @RequestMapping(value = "/path")
    public Object path(ApiParam apiParam) {
        ...
    }

    /**
     * json参数
     * @param apiParam
     * @return
     */
    @MonitorAnnotation(audit = true, type = "查看", title = "api", descriptionExpression = "解析json #{[0].id}")
    @RequestMapping(value = "/api")
    public Object api(@RequestBody ApiParam apiParam) {
         ...
    }
  • Console
# 无参数
➜  code-example git:(main) ✗ curl http://127.0.0.1:9041
{"code":"200"}%  

[XNIO-1 task-1] [MonitorAnnotationAspectPlugImpl.java : 58] [fffffffffe71f0b8ffffffffaed06e501644984299461010] []  HTTP URL Method :  http://127.0.0.1:9041/#GET
[XNIO-1 task-1] [MonitorAnnotationAspectPlugImpl.java : 68] [fffffffffe71f0b8ffffffffaed06e501644984299461010] []  Class Method    :  cn.z201.audit.AppApplicationController#index
[XNIO-1 task-1] [MonitorAnnotationAspectPlugImpl.java : 79] [fffffffffe71f0b8ffffffffaed06e501644984299461010] []  Args   : []
[XNIO-1 task-1] [MonitorAnnotationAspectPlugImpl.java : 64] [fffffffffe71f0b8ffffffffaed06e501644984299461010] []  Time-Consuming : 10 ms
[XNIO-1 task-1] [AuditRepository.java : 50] [fffffffffe71f0b8ffffffffaed06e501644984299461010] [] {"eventType":"查看","eventTitle":"首页","eventDescription":"","eventTime":1644984299487,"opTraceId":"fffffffffe71f0b8ffffffffaed06e501644984299461010","userId":1}
# url参数 方法调用
➜  code-example git:(main) ✗ curl http://127.0.0.1:9041/add1
{"code":"200","data":"1"}% 

[XNIO-1 task-1] [AuditRepository.java : 50] [000000001aeb91faffffffff9f9ad4b01644984411302010] [] {"eventType":"查看","eventTitle":"测试方法写入","eventDescription":"1","opTraceId":"000000001aeb91faffffffff9f9ad4b01644984411302010","userId":1}
#url参数
➜  code-example git:(main) ✗ curl http://127.0.0.1:9041/path\?id\=1
{"code":"200","data":{"id":1}}%   
[XNIO-1 task-1] [MonitorAnnotationAspectPlugImpl.java : 58] [ffffffffbc9cb15500000000603b0e6a1644984489674100] []  HTTP URL Method :  http://127.0.0.1:9041/path#GET
[XNIO-1 task-1] [MonitorAnnotationAspectPlugImpl.java : 68] [ffffffffbc9cb15500000000603b0e6a1644984489674100] []  Class Method    :  cn.z201.audit.AppApplicationController#path
[XNIO-1 task-1] [MonitorAnnotationAspectPlugImpl.java : 79] [ffffffffbc9cb15500000000603b0e6a1644984489674100] []  Args   : [{"id":1}]
[XNIO-1 task-1] [MonitorAnnotationAspectPlugImpl.java : 64] [ffffffffbc9cb15500000000603b0e6a1644984489674100] []  Time-Consuming : 3 ms
[XNIO-1 task-1] [AuditRepository.java : 50] [ffffffffbc9cb15500000000603b0e6a1644984489674100] [] {"eventType":"查看","eventTitle":"api","eventDescription":"解析参数 1","opTraceId":"ffffffffbc9cb15500000000603b0e6a1644984489674100","userId":1}

# json 参数
➜  code-example git:(main) ✗ curl -X POST http://localhost:9041/api -H 'Content-Type: application/json' -d '{"id":"1"}' 
{"code":"200","data":{"id":1}}%   
[XNIO-1 task-1] [MonitorAnnotationAspectPlugImpl.java : 58] [000000001fbbccdf000000006a218db41644985048604100] []  HTTP URL Method :  http://localhost:9041/api#POST
[XNIO-1 task-1] [MonitorAnnotationAspectPlugImpl.java : 68] [000000001fbbccdf000000006a218db41644985048604100] []  Class Method    :  cn.z201.audit.AppApplicationController#api
[XNIO-1 task-1] [MonitorAnnotationAspectPlugImpl.java : 79] [000000001fbbccdf000000006a218db41644985048604100] []  Args   : [{"id":1}]
[XNIO-1 task-1] [MonitorAnnotationAspectPlugImpl.java : 64] [000000001fbbccdf000000006a218db41644985048604100] []  Time-Consuming : 1 ms
[XNIO-1 task-1] [AuditRepository.java : 50] [000000001fbbccdf000000006a218db41644985048604100] [] {"eventType":"查看","eventTitle":"api","eventDescription":"解析json 1","opTraceId":"000000001fbbccdf000000006a218db41644985048604100","userId":1}

演示代码

SQL

-- 创建数据库
CREATE DATABASE IF NOT EXISTS `docker_mybatis_audit` DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
DROP TABLE IF EXISTS docker_mybatis_audit.`biz_audit_log`;
CREATE TABLE IF NOT EXISTS  docker_mybatis_audit.`biz_audit_log`
(
    `id`               BIGINT(20) NOT NULL AUTO_INCREMENT COMMENT '主键id',
    `is_enable`           bit(1) NOT NULL DEFAULT b'1' COMMENT '数据是否有效 1 有效 0 无效',
    `create_time`         bigint(20) unsigned NOT NULL COMMENT '创建时间',
    `update_time`         bigint(20) unsigned NOT NULL COMMENT '更新时间',
    `event_type`  varchar(100) COLLATE utf8mb4_bin  DEFAULT '' COMMENT '事件类型 insert update delete select 等等',
    `event_title`  varchar(100) COLLATE utf8mb4_bin  DEFAULT '' COMMENT '事件标题 xxx查看了什么记录 xx修改了什么记录',
    `event_description`  varchar(100) COLLATE utf8mb4_bin  DEFAULT '' COMMENT '事件描述',
    `event_time`         bigint(20) unsigned NOT NULL COMMENT '事件记录时间',
    `op_trace_id`  varchar(100) COLLATE utf8mb4_bin  DEFAULT '' COMMENT '操作标志',
    `user_id`  BIGINT(20) unsigned NOT NULL DEFAULT '0' COMMENT '操作用户id',
    PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin COMMENT='数据审计日志';

AuditRepository

/**
 * @author z201.coding@gmail.com
 **/
@Repository
@Slf4j
public class AuditRepository {

    @Autowired
    @Qualifier("auditLogExecutor")
    private MdcThreadPoolTaskExecutor mdcThreadPoolTaskExecutor;

    @Resource
    private BizAuditLogDao bizAuditLogDao;

    private static ConcurrentLinkedQueue<BizAuditLog> concurrentLinkedQueue = new ConcurrentLinkedQueue();

    private void add(BizAuditLog bizAuditLog) {
        if (Objects.isNull(bizAuditLog)) {
            return;
        }
        if (Objects.isNull(bizAuditLog.getUserId())) {
            // 演示场景,应该是从其他地方插入当前用户信息。
            bizAuditLog.setUserId(1L);
        }
        log.info("{}", JsonTool.toString(bizAuditLog));
        concurrentLinkedQueue.add(bizAuditLog);
    }

    /**
     * 普通参数写入方式
     * @param type
     * @param title
     * @param descriptionExpression
     * @param args
     */
    public void add(String type,String title,String descriptionExpression, Object args) {
        //格式化描述表达式得到易读的描述
        String description = parseDescriptionExpression(new Object[]{args}, descriptionExpression);
        BizAuditLog bizAuditLog = new BizAuditLog();
        bizAuditLog.setEventType(type);
        bizAuditLog.setEventTitle(title);
        bizAuditLog.setEventDescription(description);
        bizAuditLog.setEventTime(System.currentTimeMillis());
        bizAuditLog.setOpTraceId(MdcTool.getInstance().get());
        add(bizAuditLog);
    }

    /**
     * 注解拦截方式
     * @param monitorAnnotation
     * @param args
     */
    public void add(MonitorAnnotation monitorAnnotation, Object[] args) {
        if (monitorAnnotation.audit()) {
            String type = monitorAnnotation.type();
            String title = monitorAnnotation.title();
            String descriptionExpression = monitorAnnotation.descriptionExpression();
            //格式化描述表达式得到易读的描述
            String description = parseDescriptionExpression(args, descriptionExpression);
            BizAuditLog bizAuditLog = new BizAuditLog();
            bizAuditLog.setEventType(type);
            bizAuditLog.setEventTitle(title);
            bizAuditLog.setEventDescription(description);
            bizAuditLog.setEventTime(System.currentTimeMillis());
            bizAuditLog.setOpTraceId(MdcTool.getInstance().get());
            add(bizAuditLog);
        }
    }

    @PostConstruct
    public void init() {
        mdcThreadPoolTaskExecutor.execute(() -> {
            for (; ; ) {
                try {
                    if (concurrentLinkedQueue.isEmpty()) {
                        Thread.sleep(500);
                    } else {
                        Iterator<BizAuditLog> iterator = concurrentLinkedQueue.iterator();
                        List<BizAuditLog> bizAuditLogList = new ArrayList<>();
                        while (iterator.hasNext()) {
                            if (bizAuditLogList.size() >= 10) {
                                break;
                            }
                            bizAuditLogList.add(iterator.next());
                            iterator.remove();
                        }
                        bizAuditLogDao.batchInsert(bizAuditLogList);
                        Thread.sleep(500);
                    }
                } catch (Exception e) {
                    log.error("审计日志存储失败 :" + e);
                }
            }
        });
    }

    private String parseDescriptionExpression(Object[] args, String descriptionExpression) {
        SpelExpressionParser spelExpressionParser = new SpelExpressionParser();
        Expression expression = spelExpressionParser.parseExpression(descriptionExpression, new TemplateParserContext());
        return expression.getValue(new StandardEvaluationContext(args), String.class);
    }

}

  • 采用spring spel作为默认的参数解析。

小结

切面拦截带 @MonitorAnnotation 的方法,审计记录先进 ConcurrentLinkedQueue,再每轮最多取 10 条批量入库,描述字段用 SpEL 解析;代价是每 500 毫秒轮询,宕机时队列中未落库记录会丢失。

最近更新: 2026/11/20 22:16
Contributors: 庆峰
Prev
Drone:Docker 部署轻量 CI
Next
Redisson:分布式锁与 RedLock