架构视界
主页
企业架构
  • 方案总览
  • 业财一体
  • 企业中台
  • 组织与绩效
  • 流程治理
数据收集与分析
  • 转型总览
  • 信息化阶段
  • 数字化解决方案
  • 智数化解决方案
  • 智能化解决方案
  • 产品设计
  • 项目管理
全栈软件工程
AI 原生软件工程
方法论
博客
  • 资源导航
  • 效率工具
  • 展示专区
主页
企业架构
  • 方案总览
  • 业财一体
  • 企业中台
  • 组织与绩效
  • 流程治理
数据收集与分析
  • 转型总览
  • 信息化阶段
  • 数字化解决方案
  • 智数化解决方案
  • 智能化解决方案
  • 产品设计
  • 项目管理
全栈软件工程
AI 原生软件工程
方法论
博客
  • 资源导航
  • 效率工具
  • 展示专区
  • 标签索引
  • 2024年

    • 勇闯大A:美债与美元周期
    • 勇闯大A:交易纪律与自我管理
    • 勇闯大A:交易系统分层
    • 勇闯大A:买卖点与止损规则
    • 勇闯大A:债券与资金流向
    • 勇闯大A:微观、宏观与周期
    • Mac 开发环境:新机配置清单
    • 勇闯大A:内外盘与换手率
    • 会计管理:财报阅读与管理报表
    • 会计基础:记账原理与分录
    • 财务入门:财务体系全景
  • 2023年

    • 境外投资:泰国 BOI 申请实务
  • 2022年

    • 企业架构:故障管理与分级响应
    • 企业架构:技术债务的识别、度量与偿还
  • 2021年

    • Python 数据分析:员工分布可视化
    • Python 数据分析:IP 访问折线图
    • Python 数据分析:IP 词云图
    • Redis:RediSearch 全文检索
    • Rust 基础:第一个 CLI 程序
    • Rust 基础:所有权机制
    • Rust 基础:函数与控制流
    • Rust 基础:变量与数据类型
    • Rust 基础:入门与开发环境
    • 企业架构:分布式系统设计
    • 企业架构:编程式权限设计
    • JVM 调优:启动参数与 GC 日志
    • MyBatis 批量插入:三种写法对比
    • 测试:Spring Boot 分层 Mock
    • Redis:布隆过滤器判断元素存在
    • Jenkins:安装配置与应用部署
    • WebClient:非阻塞 HTTP 客户端
    • Drone:Docker 部署轻量 CI
    • Spring AOP:操作审计日志落库
    • Redisson:分布式锁与 RedLock
    • MyBatis 拦截器:雪花算法主键
    • Netty:线程模型与网络编程
    • Redis:SCAN 游标遍历大键空间
    • Jenkins:单机部署与升级脚本
    • Mac:Neo4j 与 Jupyter 安装
    • JavaFX:OpenJDK 11 环境配置
    • Mac:用 jenv 管理 JDK 版本
    • Redis:有序集合实现延时队列
    • Spring Boot 日志:MDC 串联链路
    • 定时任务:Spring 调度与 Cron
    • GoAccess:Nginx 日志分析
    • MyBatis 拦截器:慢 SQL 分析
    • Lucene:倒排索引与中文分词
    • 分布式锁:三种实现方案对比
    • 学习技巧:减少学习排斥心理
    • 动态数据源:多租户数据路由
    • Compose:Spring Boot 三件套
    • Java 阻塞队列:源码与用法
    • Redis:Docker Compose 哨兵
    • Redis:Docker Compose 主从
    • 网络通信:TCP/IP 与 HTTP 基础
  • 2020年

    • 延时队列:DelayQueue 与 Redis 实现
    • MySQL 基础:员工库导入实践
    • 雪花算法:分布式 ID 生成
    • Redis:地理位置查询
    • 抓包:Wireshark 与 Tcpdump
    • SPI:JDK 与 Spring 扩展机制
    • ZooKeeper:概念与集群搭建
    • Spring Boot:集成 JMH 基准测试
    • Wireshark:抓包工具入门
    • Compose:Redis 与 MySQL
    • CentOS 7:Docker 安装部署
    • Netty:源码阅读环境搭建
    • MySQL 基础:SQL 常见用法
    • CentOS 7:Selenium 运行环境
    • Nginx:HTTPS 证书配置
    • JMH:基准测试与 Spring Boot 集成
    • Spring Boot:指定 Tomcat 版本
    • Eureka:实例上下线告警
    • 钉钉告警:应用异常与实例上下线
    • JVM:内存布局、类加载与调优
    • Git:rebase 合并多次提交
    • CentOS 7:OpenResty 部署
  • 2019年

    • Redis CLI:macOS 安装与使用
    • Nginx:访问日志格式
    • 工程规范:可维护代码的写法
    • IntelliJ IDEA:常用插件
    • SkyWalking:源码阅读环境搭建
    • Spring Boot:Redis 超时配置
    • gRPC:ProtoBuf 定义与代码生成
    • Arthas:Java 线上问题诊断
    • Redis:缓存穿透与击穿防护
    • Docker 部署:Elasticsearch
    • Docker 部署:MySQL 5.7 单机
    • Spring Redis:字符串命令封装
    • Docker 部署:ZooKeeper 运行
    • Docker 部署:Redis 单机运行
    • Dubbo:Spring Boot 微服务集成
    • CentOS 7:CMake 源码编译安装
    • 性能度量:吞吐量与 QPS 指标
    • Java 递归:从笔试题到经典问题
    • CentOS 7:ELK 日志平台部署
    • CentOS 7:SonarQube 部署
    • Selenium:Chrome 浏览器自动化
    • JJWT:令牌生成与解析测试
    • Spring 源码:阅读环境搭建
    • JUnit 4:注解、断言与参数化
    • JWT:令牌结构与签名机制
    • FastDFS:架构与文件存取机制
    • XPath:XML 文档节点定位
    • Redis 基础:锁、队列与事务
    • Redis 基础:数据类型与命令
    • MyBatis:Slf4j 日志接入
    • MyBatis:H2 单元测试与 SQL 日志
    • 源码阅读:开源项目环境搭建
    • Git 配置:命令清单与作用域
    • Java 核心:面向对象与基础类型
    • Java 核心:关键字、异常与反射
    • Java 核心:多线程基础
    • Java 核心:同步关键字与线程池
    • Java 核心:锁与并发工具
    • Java 核心:语言基础与并发
    • Dubbo:远程调用与服务治理
    • Java 集合:框架总览与实现对比
    • Maven:生命周期与常用命令
    • MyBatis:执行流程与插件机制
    • Spring:IoC 容器与依赖注入
    • Spring:AOP 与自动装配
    • Spring:事务与启动流程
    • Spring:IoC、AOP 与事务
    • Spring MVC:请求分发与注解
    • MySQL:架构与索引
    • MySQL:事务、锁与 MVCC
    • MySQL:日志与 SQL 优化
    • MySQL:架构、事务与优化
    • Redis 基础:持久化与线程模型
  • 2018年

    • Java HashMap:扩容机制与哈希冲突
    • Java 集合:HashSet 去重原理
    • Java 基础:交换两个变量的值
    • Spring MVC:零 web.xml 改造
    • Mac 开发环境:新机配置清单
    • Log4j:日志分级与按业务拆分
    • Modbus:工业通信协议与 RTU 帧
    • MySQL 基础:子查询与连接查询
    • MySQL 基础:库与表操作
    • MySQL 基础:表操作与查询
    • MySQL 基础:约束、引擎与数据类型
    • MySQL 基础:库表、约束与类型
    • Java 集合:Vector 与 Stack
    • Java 集合:Vector 与 Stack
    • RabbitMQ:CentOS 7 单机部署
    • Redis:CentOS 7 单机部署
    • MongoDB:CentOS 7 单机部署
    • Linux:常用系统与运维命令
    • 注册中心:Eureka 与 ZooKeeper
    • MySQL:CentOS 7 单机部署
    • Git 分支:主分支与临时分支
    • CentOS 7:Java 开发环境部署
    • Java 集合:LinkedList 双向链表
    • Java 集合:ArrayList 动态数组
    • Spring AOP:注解方式实现切面
← 返回博客

钉钉告警:应用异常与实例上下线

2020年7月15日 #后端开发 #Spring #可观测性

线上出故障时,如果只靠客户反馈才发现,说明告警链路缺失。这里回顾用钉钉做异常告警需要哪些关键信息,以及如何把 Eureka 实例上下线也纳入告警。

为什么要做钉钉通知

一次线上故障排查下来,最让人意外的是日志里没有任何输出,问题只能等客户反馈。改进从两件事开始:统一日志输出、定义全局异常级别。

效果图:

通过全局拦截器在公共基础项目里加入 AOP 拦截,最初推送的告警包含这些信息:

告警信息
工程名:gateway
类路径:cn.z201.cloud.gateway.GatewayApplicationTest
方法名:alarm
异常信息:java.lang.IllegalAccessException
异常追踪:
cn.z201.cloud.gateway.GatewayApplicationTest.alarm(GatewayApplicationTest.java:64)
sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
java.lang.reflect.Method.invoke(Method.java:498)
org.junit.runners.model.FrameworkMethod$1.runReflectiveCall(FrameworkMethod.java:50)
org.junit.internal.runners.model.ReflectiveCallable.run(ReflectiveCallable.java:12)
org.junit.runners.model.FrameworkMethod.invokeExplosively(FrameworkMethod.java:47)
org.junit.internal.runners.statements.InvokeMethod.evaluate(InvokeMethod.java:17)
org.springframework.test.context.junit4.statements.RunBeforeTestExecutionCallbacks.evaluate(RunBeforeTestExecutionCallbacks.java:74)

告警刚上线时一天能推几千条,头几天大家还很紧张,过一个月就都麻木了。这说明只堆信息不够,还要能区分来源和级别。

用请求头补充客户端上下文

前端有安卓、iOS、微信小程序、Web、快应用等多个入口,后端需要识别问题来自哪个项目。做法是约定一组请求头,前端在调用时带上,告警时一并输出:

请求头说明
Client-Business-Group-Source业务组来源编号
Client-Business-Source业务来源编号
Client-Business-Activity-Source特殊业务流量标识
Client-Env-Source客户端环境:1 iOS、2 Android、3 Windows
Client-Platform-Source客户端平台,如手机型号、浏览器
Client-Start-Time请求时间戳
Client-Version-Source客户端版本号

告警随之补充了扩展信息:

告警信息
工程名:gateway
类路径:cn.z201.cloud.gateway.GatewayApplicationTest
方法名:alarm
异常信息:java.lang.IllegalAccessException
异常扩展信息: {
  "Client-Business-Source": "1000",
  "Client-Business-Activity-Source": "1",
  "Client-Env-Source": "1",
  "Client-Platform-Source": "xxx",
  "Client-Version-Source": "1.0.0"
}
异常追踪:
cn.z201.cloud.gateway.GatewayApplicationTest.alarm(GatewayApplicationTest.java:64)
sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
java.lang.reflect.Method.invoke(Method.java:498)
org.junit.runners.model.FrameworkMethod$1.runReflectiveCall(FrameworkMethod.java:50)
org.junit.internal.runners.model.ReflectiveCallable.run(ReflectiveCallable.java:12)
org.junit.runners.model.FrameworkMethod.invokeExplosively(FrameworkMethod.java:47)
org.junit.internal.runners.statements.InvokeMethod.evaluate(InvokeMethod.java:17)
org.springframework.test.context.junit4.statements.RunBeforeTestExecutionCallbacks.evaluate(RunBeforeTestExecutionCallbacks.java:74)

跨服务透传请求头

调用链变长后,定位问题更依赖上下文。应用 A 调用应用 B,B 抛出异常,但 Spring Cloud 的 HTTP RPC 默认不会把这些请求头继续传给下游,需要在调用侧做一次透传:

先统一定义请求头常量:

/**
 * @author z201.coding@gmail.com
 **/
public interface HttpApiConstant {

    String X_REAL_IP = "x-real-ip";
    /**
     * 请求头跟踪 id 名。
     */
    String HTTP_HEADER_TRACE_ID = "AppTraceId";

    /**
     * 请求头
     */
    String HTTP_TOKEN_HEADER = "Authorization";

    /**
     * app 租户
     */
    String APP_TENANT = "Tenant";

    String CLIENT_BUSINESS_GROUP_SOURCE = "Client-Business-Group-Source";

    String CLIENT_BUSINESS_SOURCE = "Client-Business-Source";

    String CLIENT_BUSINESS_ACTIVITY_SOURCE = "Client-Business-Activity-Source";

    String CLIENT_EVN_SOURCE = "Client-Env-Source";

    String CLIENT_PLATFORM_SOURCE = "Client-Platform-Source";

    String CLIENT_START_TIME = "Client-Start-Time";

    String CLIENT_VERSION_SOURCE = "Client-Version-Source";

}

再用 Feign 拦截器把入站请求头复制到出站请求:

/**
 * @author z201.coding@gmail.com
 * 自定义 Feign 拦截器
 * 把请求头从应用层传到内部服务
 **/
@Slf4j
@ConditionalOnClass(WebMvcConfigurer.class)
public class MdcFeignInterceptorConfig implements RequestInterceptor, HttpApiConstant {

    public MdcFeignInterceptorConfig() {
        log.info("Loaded Z-REST-INTERCEPTOR [V1.0.0]");
    }

    @Override
    public void apply(RequestTemplate template) {
        try {
            HttpServletRequest request = ((ServletRequestAttributes) RequestContextHolder.currentRequestAttributes())
                    .getRequest();
            String xRealIp = request.getHeader(X_REAL_IP);
            String authentication = request.getHeader(HTTP_TOKEN_HEADER);
            String appTraceId = request.getHeader(HTTP_HEADER_TRACE_ID);
            String businessGroupSource = request.getHeader(CLIENT_BUSINESS_GROUP_SOURCE);
            String clientBusinessSource = request.getHeader(CLIENT_BUSINESS_SOURCE);
            String clientBusinessActivitySource = request.getHeader(CLIENT_BUSINESS_ACTIVITY_SOURCE);
            String clientEnvSource = request.getHeader(CLIENT_EVN_SOURCE);
            String clientPlatformSource = request.getHeader(CLIENT_PLATFORM_SOURCE);
            String clientStartTime = request.getHeader(CLIENT_START_TIME);
            String clientVersionSource = request.getHeader(CLIENT_VERSION_SOURCE);
            template.header(HttpHeaders.ACCEPT_ENCODING, "gzip");
            template.header(X_REAL_IP, xRealIp);
            template.header(HTTP_TOKEN_HEADER, authentication);
            template.header(CLIENT_BUSINESS_GROUP_SOURCE, businessGroupSource);
            template.header(CLIENT_BUSINESS_SOURCE, clientBusinessSource);
            template.header(CLIENT_BUSINESS_ACTIVITY_SOURCE, clientBusinessActivitySource);
            template.header(CLIENT_EVN_SOURCE, clientEnvSource);
            template.header(CLIENT_PLATFORM_SOURCE, clientPlatformSource);
            template.header(CLIENT_START_TIME, clientStartTime);
            template.header(CLIENT_VERSION_SOURCE, clientVersionSource);
            if (log.isDebugEnabled()) {
                Enumeration<String> headerNames = request.getHeaderNames();
                while (headerNames.hasMoreElements()) {
                    String name = headerNames.nextElement();
                    String value = request.getHeader(name);
                    log.debug("header {} - {}", name, value);
                }
            }
        } catch (Exception e) {
            log.error("template exception {}", e.getMessage());
        }
    }
}

Eureka 实例上下线告警

应用异常之外,实例退出或新实例上线同样需要通知。Eureka 暴露了注册与注销事件,监听后转发到同一个钉钉通道即可:

关键代码

@EventListener
public void listen(EurekaInstanceCanceledEvent event) {
    log.error("告警通知 [{}] 服务注销 timestamp [{}] serverId [{}]",
            event.getAppName(),
            event.getTimestamp(),
            event.getServerId());
    if (!event.isReplication()) {
        ServiceNotice serviceNotice = new ServiceNotice();
        serviceNotice.setTitle("告警通知 服务下线");
        serviceNotice.setAppName(event.getAppName());
        serviceNotice.setTimestamp(event.getTimestamp());
        serviceNotice.setServerId(event.getServerId());
        serviceNotice.setProfiles(active);
        alarmNoticeManage.createNotice(serviceNotice, "");
    }
}

@EventListener
public void listen(EurekaInstanceRegisteredEvent event) {
    log.info("告警通知 [{}] 服务注册 timestamp [{}] id [{}] ipAddr [{}] ",
            event.getInstanceInfo().getAppName(),
            event.getTimestamp(),
            event.getInstanceInfo().getId(),
            event.getInstanceInfo().getIPAddr()
    );
    if (!event.isReplication()) {
        ServiceNotice serviceNotice = new ServiceNotice();
        serviceNotice.setTitle("告警通知 服务上线");
        serviceNotice.setAppName(event.getInstanceInfo().getAppName());
        serviceNotice.setTimestamp(event.getTimestamp());
        serviceNotice.setServerId(event.getInstanceInfo().getId());
        serviceNotice.setProfiles(active);
        alarmNoticeManage.createNotice(serviceNotice, "");
    }
}

告警效果

告警通知 服务下线
2020-07-16 16:03:20 GATEWAY 192.168.31.7:gateway:9000 profiles dev1
@xxx

Eureka 源码中共有五个事件,可按需要选择监听:

EurekaServerStartedEvent - Eureka 服务端启动事件
EurekaRegistryAvailableEvent - Eureka 服务端可用事件
EurekaInstanceRegisteredEvent - Eureka 客户端服务注册事件
EurekaInstanceRenewedEvent - Eureka 客户端续约事件
EurekaInstanceCanceledEvent - Eureka 客户端下线事件

小结

AOP 全局拦截把工程名、类路径、方法与堆栈推到钉钉,请求头用 Client-Env-Source 等字段区分客户端与业务来源;跨服务要靠 Feign 拦截器透传,否则下游告警缺少上下文。Eureka 侧监听注册与注销事件,并判断 isReplication() 为 false,避免集群副本同步导致重复告警。

最近更新: 2026/11/20 22:30
Contributors: 庆峰
Prev
Eureka:实例上下线告警
Next
JVM:内存布局、类加载与调优