运维工程:部署、观测与恢复
运维的目标是让系统在生产环境可控:部署可靠、状态可见、故障可恢复。
方法与模型:用 SLO 与错误预算定义可接受的稳定性,用可观测性三支柱(日志、指标、追踪)定位问题,用故障复盘模板沉淀改进项。
运维从质量准出开始
| 关卡 | 条件 |
|---|---|
| 准入 | 质量准出通过,发布窗口与回滚点已确认,监控与告警已就位 |
| 准出 | 部署完成、状态可观测、回滚可用,运行复盘记录归档 |
运维工程化把环境与变更纳入流水线,并把 SLO 与演练复盘变成固定动作。上线不是终点,运行数据与故障复盘要回流到下一轮需求与架构判断;失败时先按预案回滚或切流,再定位原因。
部署形态先定,监控按四层铺
| 方式 | 适用场景 | 代价 |
|---|---|---|
| 脚本部署 | 单机、少量服务 | 手工环节多,过程难复现 |
| 容器单节点 | 小团队、多服务并行 | 仍有单点 |
| 容器编排 | 多团队、按服务扩容 | 复杂度高,需要平台能力 |
发布策略按可用性要求选择:停机发布、滚动发布、蓝绿/灰度。无论哪种,都要保留可回滚的上一版制品。
监控先定义可观测信号,分四层建设,避免只看主机指标:
| 层 | 关注内容 |
|---|---|
| 主机与容器 | CPU、内存、磁盘、网络 |
| 中间件 | 数据库连接、消息堆积、缓存命中 |
| 应用 | 接口延迟、错误率、JVM 与线程 |
| 业务 | 关键流程成功率、订单与任务量 |
指标采集常与 Prometheus 配合,Node Exporter 覆盖主机,Grafana 做展示;日志集中收集,按服务与链路定位问题。日常终端默认 WindTerm,覆盖 SSH、SFTP 与串口;需要批量编排或审计时再引入专门平台。
告警与备份决定故障代价
- 阈值告警覆盖资源与错误率,趋势告警覆盖容量;
- 告警分级:可忽略、需关注、需处理、需立即恢复;
- 明确值班与升级路径,告警必须有人响应;
- 抑制重复告警,避免告警疲劳导致真实故障被忽略。
备份先能恢复,再谈高可用:
- 数据库与对象存储定期备份,备份保留周期与业务要求一致;
- 备份必须经过恢复演练才算有效,未恢复过的备份只是文件;
- 明确 RPO 与 RTO:能接受丢多少数据、多久恢复。
先恢复再定位,复盘进台账
- 关键故障有预案:回滚、切流、降级、限流;
- 故障发生后先恢复,再定位;
- 故障复盘输出改进项,进入技术债台账跟踪。
实例:一次故障的恢复与复盘
一次平台类项目的运维现状:
- Docker 单节点部署,按基础服务、平台服务、业务服务、Web 服务四组划分;
- Nginx 统一托管前端,日志格式与健康检查统一;
- 监控优先保障平台服务,业务域指标偏少;
- 数据库定期备份,恢复演练尚未常态化。
这些缺口都作为技术债登记,而不是当作已经完成。
公开边界
本页只写公开的运维方法与稳定性判断,不包含环境地址、端口表、值班联系人与凭据。