运维
运维的目标是让系统在生产环境可控:部署可靠、状态可见、故障可恢复。
1. 部署
| 方式 | 适用场景 | 代价 |
|---|---|---|
| 脚本部署 | 单机、少量服务 | 手工环节多,过程难复现 |
| 容器单节点 | 小团队、多服务并行 | 仍有单点 |
| 容器编排 | 多团队、按服务扩容 | 复杂度高,需要平台能力 |
发布策略按可用性要求选择:停机发布、滚动发布、蓝绿/灰度。无论哪种,都要保留可回滚的上一版制品。
2. 监控
分四层建设,避免只看主机指标:
| 层 | 关注内容 |
|---|---|
| 主机与容器 | CPU、内存、磁盘、网络 |
| 中间件 | 数据库连接、消息堆积、缓存命中 |
| 应用 | 接口延迟、错误率、JVM 与线程 |
| 业务 | 关键流程成功率、订单与任务量 |
指标采集常与 Prometheus 配合,Node Exporter 覆盖主机,Grafana 做展示;日志集中收集,按服务与链路定位问题。
3. 告警
- 阈值告警覆盖资源与错误率,趋势告警覆盖容量;
- 告警分级:可忽略、需关注、需处理、需立即恢复;
- 明确值班与升级路径,告警必须有人响应;
- 抑制重复告警,避免告警疲劳导致真实故障被忽略。
4. 备份与恢复
- 数据库与对象存储定期备份,备份保留周期与业务要求一致;
- 备份必须经过恢复演练才算有效,未恢复过的备份只是文件;
- 明确 RPO 与 RTO:能接受丢多少数据、多久恢复。
5. 应急与复盘
- 关键故障有预案:回滚、切流、降级、限流;
- 故障发生后先恢复,再定位;
- 故障复盘输出改进项,进入技术债台账跟踪。
6. 一个实际例子
多业务域数字化平台技术方案 的运维现状:
- Docker 单节点部署,按基础服务、平台服务、业务服务、Web 服务四组划分;
- Nginx 统一托管前端,日志格式与健康检查统一;
- 监控优先保障平台服务,业务域指标偏少;
- 数据库定期备份,恢复演练尚未常态化。
这些缺口都作为技术债登记,而不是当作已经完成。
7. 常见误区
- 监控只有主机指标,应用与业务状态不可见;
- 告警无人值守,或告警太多无人看;
- 备份从未恢复过,需要时才发现不可用;
- 发布依赖手工步骤,出错无法复现;
- 只处理故障不写复盘,同类问题反复发生。