数据架构
数据架构回答:数据归谁管、存在哪、怎么流、怎么用。
数据架构与应用边界是一体两面:应用按领域拆开,数据归属也必须跟着拆开,否则边界会在数据库层被绕过。
方法与模型:用数据流图追数据的产生、流转与消费,用一致性模型选择强一致或最终一致,用主数据管理与指标口径清单守住唯一来源。
五个问题决定数据架构的边界
- 数据模型怎么分:主数据、事务数据、分析数据、日志与审计;
- 归属谁:哪份数据由哪个服务负责写入与迁移;
- 存在哪:关系库、缓存、消息、对象存储、事务协调怎么分工;
- 怎么流:跨域查询、异步事件、报表与数仓如何取数;
- 怎么管:数据分级、敏感信息、备份与保留周期。
谁写入,谁负责模型、迁移与口径
原则只有一条:谁写入,谁负责模型、迁移与口径。
由此推导出:
| 约束 | 说明 |
|---|---|
| 一服务一库 | 每个服务拥有独立数据库,按服务域命名 |
| 禁止跨库直接访问 | 跨域取数走接口或消息 |
| 报表不反连业务库 | 报表与数仓作为独立层,不反向侵入 |
| 口径归属 | 同一指标的唯一定义方明确到服务 |
跨域实时查询用接口,跨域解耦用消息,批量分析用数仓。三者都不能成为绕过归属的借口。
选型先看数据特征
| 数据类型 | 典型选型 | 适用场景 | 代价 |
|---|---|---|---|
| 关系数据 | MySQL / PostgreSQL | 主数据与事务数据 | 扩展有上限,需读写分离或分库 |
| 缓存 | Redis | 会话、热点、分布式锁 | 一致性需管理,不能当唯一数据源 |
| 消息 | RocketMQ / Kafka | 异步事件、削峰、最终一致 | 需要幂等与补偿设计 |
| 对象存储 | MinIO / S3 | 文件、附件、导出产物 | 元数据仍需关系库管理 |
| 事务协调 | Seata 等 | 跨服务强一致边界 | 复杂度高,只在必要场景使用 |
| 分析层 | 数仓 / OLAP 引擎 | 报表、指标、归因 | 需要独立建模与同步链路 |
选型先看数据特征与访问模式,再看组件流行度。同一个能力不要引入多套组件。
分级不落地等于没分级
| 级别 | 例子 | 要求 |
|---|---|---|
| 公开 | 产品目录、公开文档 | 常规备份 |
| 内部 | 组织、流程、经营数据 | 最小权限、访问审计 |
| 敏感 | 个人信息、财务、凭据 | 加密、脱敏、严格授权 |
| 审计 | 操作日志、访问记录 | 完整性保障、独立保留 |
分级不落地等于没分级:每一级都要有对应的权限控制、脱敏规则与保留周期。
数仓单向取数,不回写业务库
关键约束:业务库只服务本域;数仓单向取数,不回写业务库;跨域实时查询走接口,不直连数据库。
一服务一库落到四件事
一服务一库不是口号,落地时固定成四件事:
- 每个服务独立数据库,命名按服务域划分;
- 关系数据用 MySQL 8,缓存用 Redis,事件走 RocketMQ,文件与导出产物进 MinIO;
- 跨服务事务只用 Seata 覆盖必要场景,其余优先消息与补偿;
- 报表与数仓规划为后续独立层,不反向侵入业务库。
四件事同时成立,归属才守得住;任何一件被"临时"绕开,数据库层就会重新变成跨域耦合的暗道。
公开边界
只公开数据归属、选型、分级与流转约束;不包含真实库表结构、数据字典、分库分表规则、数据量与合规审批材料。