标签: Spring

SpringBoot MyBatis 批量

08/08/2021MybatisSpringSqlJavaProgrammatic

开发过程中经常会出现批量写入数据库的操作，特别是后台系统，在导入数据的场景下会对表性能造成一定影响。

Mybatis-ONE-SQL

SQL插入主要使用INSERT语句，有两种常见的用法。

逐条插入

  • 如果插入的记录过多，比如大于20条记录，性能损耗非常严重。
INSERT INTO `table_data` ('field1','field2') VALUES ('data1','data2');

SpringBoot 测试Mock

06/14/2021MockSpringTestProgrammatic

SpringBoot测试解决方案

  • mock

    • Mock 的意思是模拟，它可以用来对系统、组件或类进行隔离。
    • 验证组件级别正确性的一大难点在于关于组件与组件之间的依赖关系，这里就需要引出测试领域非常重要的一个概念，即 Mock（模拟）。

  • mvc-mock 测试Controller

  • service-mock 测试 Service

  • repository-mock 测试 Data

  • remote-mock 测试 远程接口

SpringBoot Redis布隆过滤器

06/11/2021SpringRedisBloomProgrammatic

Redis 中不能直接使用布隆过滤器，Redis 4.0 版本之后提供的 modules（扩展模块）

布隆过滤器的原理

  • 数据结构使用一位的数组，每次存储键值的时候，不是直接把数据存储在数据结构中。而是经过hash运算。将此元素的 hash 值均匀的存储在位数组中。把这些位置设置成 1 就完成了添加操作。
  • 判断元素是否存在时，经过运算判断对应的位置是否为全部1即可。因此布隆过滤器查询此值存在时，此值不一定存在，但查询此值不存在时，此值一定不存在。
  • 但是存在一定的误差，并且当位数组存储值比较稀疏的时候，查询的准确率越高，而当位数组存储的值越来越多时，误差也会增大。

SpringBoot MyBatis

03/15/2021SpringMybatisJavaProgrammatic

数据审计

部分业务需要记录用户对操作行为，如果给每张表都做一个记录表，感觉冗余数据太多了。所以采用审计表存储相关日志信息。

实现方案

基于Spring Aop 织入方式对关键方法进行拦截，也可以通过方法进行拦截。

  • 基于注解，在方法上织入。
  • 基于普通方法，在业务逻辑中进行调用。
  • 批量写入、延时写入数据库可能会出现短时间部分数据的丢失，但是频繁写入会导致Mysql资源占用过多。
    • 使用java.util.concurrent.ConcurrentLinkedQueue 作为消费列队。每次最多消费消费10条日志记录批量写入数据库。
  • 在审计信息中添加业务执行链路标识、执行用户标识。方便排查问题。
    • 基于MDC记录链路标识。

SpringBoot MyBatis 雪花算法

02/28/2021MybatisSnowflakeMysqlSpringSpringBoot

Mybatis使用Snowflake生成主键

  • 在某些业务中为了安全已经扩展性需要弃用mysql自增id。采用Snowflake生成方式。
  • 全局唯一性，不能出现重复的id。
  • 趋势递增，MysqlInnoDB引擎使用的是是聚集索引，使用B-tree的数据结构来存储索引数据。尽量使用有序的主键保证写入性能。
  • 单调递增：保证下一个ID一定大于上一个ID，例如事务版本号、排序等特殊需求。
  • id是无序的，连续的id容易被社会工程。

SpringBoot Redis 延时队列

02/14/2021SpringRedisProgrammatic

之前有介绍过SpringBoot-Delayed-Queue基于jdk实现DelayedQueue。在实际开发中使用redis zset来实现的也比较常见。

  • Redis 延迟队列实现的思路，利用 zrangebyscore 查询符合条件的所有待处理任务，循环执行队列任务。或者每次查询最早的一条消息，判断这条信息的执行时间是否小于等于此刻的时间，如果是则执行此任务，否则继续循环检测。

Redis-Sorted-Sets

每个元素都会关联一个 double 类型的分数。redis 正是通过分数来为集合中的成员进行从小到大的排序。

SpringBoot MDC日志

02/11/2021SpringMdcLogJavaProgrammatic

日常在开发过程中方便排查文件，需要在日志中输出一些关键内容。

MDC

在茫茫日志中定位需要的信息很费时，MDC 全称是 Mapped Diagnostic Context.一个线程安全的存放诊断日志的容器。

演示代码

SpringBoot 定时任务

02/09/2021SpringSchedulingCronProgrammatic

Scheduling-Tasks

Spring Scheduler里有两个概念：任务（Task）和运行任务的框架（TaskExecutor/TaskScheduler）。TaskExecutor顾名思义，是任务的执行器，允许我们异步执行多个任务。TaskScheduler是任务调度器，来运行未来的定时任务。触发器Trigger可以决定定时任务是否该运行了，最常用的触发器是CronTrigger，具体用法会在下面章节中详细介绍。Spring内置了多种类型的TaskExecutor和TaskScheduler，方便用户根据不同业务场景选择。

SpringBoot MyBatis 分析

02/04/2021SpringMybatisMysqlExplainJava

日常开发中，需要对sql进行。为了提高效率，曾经使用mybatis扩展输出查询计划。

慢SQL

从编码角度来优化数据层的话，我首先会去查一下项目中运行的sql语句，定位到瓶颈是否出现在这里，首先去优化sql语句，而慢sql就是其中的主要优化对象，对于慢sql，顾名思义就是花费较多执行时间的语句，它带来的影响也比较恶劣，首先是执行时间过长影响数据的返回速度，其次，慢sql的长时间执行也会消耗和占用mysql的系统资源，影响其他的sql语句执行，过多的慢sql极其影响性能，如果系统流量或者并发量较大的情况下，过多的执行慢sql很有可能造成mysql的死锁以致于mysql服务无法正常使用。

SpringBoot Lucene

02/02/2021SpringLuceneJavaProgrammatic

Lucene

在Java领域常用的搜索框架鼻祖Lucene，现在常用的Solr和ElasticSearch底层都是基于Lucene

SpringBoot 动态数据源

01/15/2021SpringMybatisMybaitsPulsMysql多数据源Programmatic

在对老系统进行saas改造的时候，在项目初期使用了动态数据源的方式处理业务。

  • 本文内容仅针对数据存储方案。

动态数据源

**SaaS是Software-as-a-service（软件即服务）**它是一种通过Internet提供软件的模式，厂商将应用软件统一部署在自己的服务器

①独立性：每个租户的系统相互独立。

②平台性：所有租户归平台统一管理。

③隔离性：每个租户的数据相互隔离。

SpringBoot 阻塞队列

01/08/2021QueueBlockingQueueSpringJavaProgrammatic

之前在订单场景使用过DelayedQueue延时列队，实际上还有阻塞列队的用法。刚工作那会写爬虫的时候有使用过。这里总结下使用。

BlockingQueue

  • 阻塞列队，BlockingQueue是java.util.concurrent包下的实现类。提供了线程安全的列队访问方式，当阻塞队列进行插入数据时，如果队列已满，线程将会阻塞等待直到队列非满；从阻塞队列取数据时，如果队列已空，线程将会阻塞等待直到队列非空。

SpringBoot 延时队列

12/30/2020SpringDelayedQueueBlockingQueueJava

突然发现公司订单小哥的消息列队是用redis做的，而且用的是list。这里自己也实现下简单的阻塞列队。用于处理延时消息的问题。

  • 延时列队就是一种带有延迟功能的消息列队。通常具备消息存储、过期消息的实时获取、高可用。消费熔断。
  • 业务场景
    • 订单未支付超时。
    • 订单发货提醒。
    • 短信提醒。
    • 自动收货。
    • 自动评论。
    • 自动取消订单，不发货的情况下。
  • 常用的解决方案
    • 定时轮询任务，比如jdk中TimerThread轮询数据库表、缓存中的数据。频繁的轮询容易出现过度资源消耗。对数据和缓存也有一定的影响。但是可以作为辅助手段，通常用于补偿或者初始化数据。
    • ScheduledExecutorService 周期性线程池
    • 时间轮(kafka、Netty的HashedWheelTimer)
    • 使用mysql通常是定时扫描表，找出符合条件的数据进行处理。消费成功则更新数据。
    • 使用redis可以使用zset，通过分值进行排序。定时轮询的方式去获取符合条件的记录。消费数据后删除消息。失败则重新进入队列。
    • Java中java.util.concurrent.DelayQueue
      • Jdk实现，列队处于jvm中，不支持分布式和消息持久化。
    • Rocketmp延时列队
      • 消息持久、重试、分布式等等特性。
      • 不支持任意时间精度的，支持level级别的延时消息。

Spring SPI

12/16/2020SpringSpiJavaProgrammatic

SPI 全称为 Service Provider Interface，是一种服务发现机制。SPI 的本质是将接口实现类的全限定名配置在文件中，并由服务加载器读取配置文件，加载实现类。这样可以在运行时，动态为接口替换实现类。

  • 本文对比JDK、Spring对SPI机制的实现。

  • 在实际的应用场景。

    • jdbc驱动，不同的数据有不同的驱动。

    com.mysql.cj.jdbc.Driver

    • spring 也使用spi机制，用于扩展实现。

    org.springframework.beans.BeanInfoFactory=org.springframework.beans.ExtendedBeanInfoFactory

    • dubbo也通过spi机制实现自定义扩展。
    • 日志门面接口实现类加载，SLF4J加载不同提供商的日志是现类。

SpringBoot JMH

12/09/2020SpringJMHJavaProgrammatic

尝试在spring test中使用基准测试。

演示代码

  • JMH 是一个用于在 JVM 上编写基准测试的 Java 工具库，它是作为 OpenJDK 项目的一部分开发的。

  • 在与spring test集成过程中，只需要成功加载spring即可。

Console

  • 当jmh先启动，在启动spring就正常使用了。
# JMH version: 1.21
# VM version: JDK 1.8.0_275, OpenJDK 64-Bit Server VM, 25.275-b01
# VM invoker: /Library/Java/JavaVirtualMachines/adoptopenjdk-8.jdk/Contents/Home/jre/bin/java
# VM options: -server
# Warmup: 1 iterations, 10 s each
# Measurement: 1 iterations, 10 s each
# Timeout: 10 min per iteration
# Threads: 1 thread, will synchronize iterations
# Benchmark mode: Average time, time/op
# Benchmark: cn.z201.jmh.AppApplicationTest.environment

# Run progress: 0.00% complete, ETA 00:00:20
# Fork: N/A, test runs in the host VM
# *** WARNING: Non-forked runs may silently omit JVM options, mess up profilers, disable compiler hints, etc. ***
# *** WARNING: Use non-forked runs only for debugging purposes, not for actual performance runs. ***
# Warmup Iteration   1: 
  .   ____          _            __ _ _
 /\\ / ___'_ __ _ _(_)_ __  __ _ \ \ \ \
( ( )\___ | '_ | '_| | '_ \/ _` | \ \ \ \
 \\/  ___)| |_)| | | | | || (_| |  ) ) ) )
  '  |____| .__|_| |_|_| |_\__, | / / / /
 =========|_|==============|___/=/_/_/_/
 :: Spring Boot ::                (v2.4.5)

[cn.z201.jmh.AppApplicationTest.environment-jmh-worker-1] [StartupInfoLogger.java : 55] Starting application using Java 1.8.0_275 on z201MacBook-Pro.local with PID 23242 (started by zengqingfeng in /Users/zengqingfeng/word/code-example/SpringBoot-JMH)
[cn.z201.jmh.AppApplicationTest.environment-jmh-worker-1] [SpringApplication.java : 679] The following profiles are active: dev
[cn.z201.jmh.AppApplicationTest.environment-jmh-worker-1] [Bootstrap.java : 68] UT026010: Buffer pool was not set on WebSocketDeploymentInfo, the default pool will be used
[cn.z201.jmh.AppApplicationTest.environment-jmh-worker-1] [ServletContextImpl.java : 371] Initializing Spring embedded WebApplicationContext
[cn.z201.jmh.AppApplicationTest.environment-jmh-worker-1] [ServletWebServerApplicationContext.java : 289] Root WebApplicationContext: initialization completed in 809 ms
[cn.z201.jmh.AppApplicationTest.environment-jmh-worker-1] [ExecutorConfigurationSupport.java : 181] Initializing ExecutorService 'applicationTaskExecutor'
[cn.z201.jmh.AppApplicationTest.environment-jmh-worker-1] [Undertow.java : 120] starting server: Undertow - 2.2.7.Final
[cn.z201.jmh.AppApplicationTest.environment-jmh-worker-1] [Xnio.java : 95] XNIO version 3.8.0.Final
[cn.z201.jmh.AppApplicationTest.environment-jmh-worker-1] [NioXnio.java : 59] XNIO NIO Implementation Version 3.8.0.Final
[cn.z201.jmh.AppApplicationTest.environment-jmh-worker-1] [Version.java : 52] JBoss Threads version 3.1.0.Final
[cn.z201.jmh.AppApplicationTest.environment-jmh-worker-1] [UndertowWebServer.java : 133] Undertow started on port(s) 9031 (http)
[cn.z201.jmh.AppApplicationTest.environment-jmh-worker-1] [StartupInfoLogger.java : 61] Started application in 2.018 seconds (JVM running for 3.629)
[cn.z201.jmh.AppApplicationTest.environment-jmh-worker-1] [AppApplicationTest.java : 40] dev

SpringBoot 修改Tomcat版本

07/24/2020EurekaTomcatSpringProgrammatic

本章只是回顾一次eureka版本升级后tomcat资源占用过高的问题，临时解决。

升级springBoot、SpringCloud版本

  • 升级完成后直接在测试环境测试部署，结果发现eureka的cpu资源占用过高，导致假死。通过arthas发现是tomcat线程阻塞。通过dependepency看了下springboot中内嵌tomcat的版本是9了。之前是8，测试环境一大堆人等着测试接口。首先想着降低tomcat版本。
查看依赖
gradle dependencies
mvn dependency:tree > output.txt   # 输出到文件里

SpringBoot 错误钉钉通知

07/15/2020SpringJavaProgrammatic

本篇幅只是回顾使用钉钉做异常告警需要那些关键业务信息。

为什么要做钉钉通知？

​ 事情要从我入职上家公司说起，进入公司后把线上项目clone下来大致看了下。代码风格过于滞后、编码风格混乱。进入公司第一周就出现了线上故障，嗯。我去线上检查日志，emmmm竟然没有日志输出。这次故障是由客户反馈来的。当时我非常吃惊，大伙好像很淡定的样子，习以为常了？

​ 想到当初面试的时候和总监的谈话，主要是带领团队落地微服务架构，看来必须大刀阔斧了。

​ 首先想到的时候改进日志输出、定义全局异常级别，根据异常级别输出日志。

SpringBoot Redis 超时错误

04/11/2019JavaRedisSpringProgrammatic

最近在看项目的时候发现一个临时问题，就是redis.timeout设置0依然超时的问题。

  • 代码适用版本 jedis:2.9.0 , org.springframework.data.redis:1.8.1

timeout设置0的问题

spring.redis.timeout =0 如果设置成0 redis默认超时时间就是2秒.

Docker Compose Redis 缓存击穿

03/26/2019SpringRedisCacheMysqlDocker-ComposeContainersProgrammatic

关于Redis场景下简单的处理方式。

源码地址

缓存穿透和缓存击穿

  • 缓存穿透是指用户查询数据，在数据库没有，自然在缓存中也不会有。这样就导致用户查询的时候，在缓存中找不到，每次都要去数据库再查询一遍，然后返回空（相当于进行了两次无用的查询）。这样请求就绕过缓存直接查数据库，这也是经常提的缓存命中率问题。
  • 解决办法
    • 缓存空对象：代码维护较简单，但是效果不好。不过部分场景能使用。

Spring Redis 字符串

03/23/2019SpringJavaRedisProgrammatic

本章是整理知识内容，为强化知识长期更新。

spring-redis-string

Spring-data-redis 有两个客户端，本章节主要使用lettuce来作为代码演示。尽可能面向redis编程。

SpringBoot Dubbo

03/21/2019SpringJavaDubboProgrammatic

离职两个月，太久没写项目了，重新温故下。

  • 这里的代码是最简单的演示效果。

  • 项目下载地址 git cloen -b v1.0.0 https://github.com/z201/learning-spring-dubbo-micro-service.git

  • v1.0.0分支dubbo xml 配置演示基于zk做注册中心。

  • v2.0.0分支dubbo annotation 配置演示基于zk做注册中心。

  • v3.0.0分支dubbo xml 配置演示基于nacos做注册中心。

Spring 源码环境搭建

03/15/2019JavaSpring

0x00 阅读源代码

下载源代码

  • 代码仓库地址 https://gitee.com/Z201/spring-framework.git
  • 阅读版本号 v5.1.5.RELEASE
  • 下载版本git clone -b v5.1.5.RELEASE https://github.com/spring-projects/spring-framework.git
    • 由于github下载速度是在太慢了，这里用gitee克隆一个镜像。
    • 下载版本git clone -b v5.1.5.RELEASE https://gitee.com/Z201/spring-framework.git
  • 官方提供的文档import-into-idea

Java Spring

01/01/2019SpringJavaProgrammatic

本章是整理知识内容，为强化知识长期更新。

Spring

  • Spring是一个轻量级的IoC和AOP容器框架。是为Java应用程序提供基础性服务的一套框架，目的是用于简化企业应用程序的开发，它使得开发者只需要关心业务需求。

Spring IOC = Spring Bean + Spring Context特性

Spring Upgrade SpringBoot

07/09/2018SpringProgrammatic

2018年在公司负责了一段时间老项目改造升级工作。因此记录下折腾的过程。

  • Spring boot 最近挺火的，之前的工作并没有机会去实战。但是即使不使用Spring boot 也是可以做零配置的。

约定大于配置

  • servlet3.*的规范已经支持不使用web.xml了。
  • annotation的配置方式在Spring其实也存在很久了。

直奔主题

代码配置web.xml

org.springframework.web.WebApplicationInitializer

Spring Annotation Aop

04/08/2018JavaSpringProgrammatic

刚才学习SpringAop的时候觉得好强大

演示代码

演示效果

  • 启动代码
  docker-run curl http://localhost:9003/aop/

{"code":"200"}%