数据架构
数据架构回答:数据归谁管、存在哪、怎么流、怎么用。
数据架构与应用边界是一体两面:应用按领域拆开,数据归属也必须跟着拆开,否则边界会在数据库层被绕过。
1. 要回答的问题
- 数据模型怎么分:主数据、事务数据、分析数据、日志与审计;
- 归属谁:哪份数据由哪个服务负责写入与迁移;
- 存在哪:关系库、缓存、消息、对象存储、事务协调怎么分工;
- 怎么流:跨域查询、异步事件、报表与数仓如何取数;
- 怎么管:数据分级、敏感信息、备份与保留周期。
2. 数据归属
原则只有一条:谁写入,谁负责模型、迁移与口径。
由此推导出:
| 约束 | 说明 |
|---|---|
| 一服务一库 | 每个服务拥有独立数据库,按服务域命名 |
| 禁止跨库直接访问 | 跨域取数走接口或消息 |
| 报表不反连业务库 | 报表与数仓作为独立层,不反向侵入 |
| 口径归属 | 同一指标的唯一定义方明确到服务 |
跨域实时查询用接口,跨域解耦用消息,批量分析用数仓。三者都不能成为绕过归属的借口。
3. 存储选型
| 数据类型 | 典型选型 | 适用场景 | 代价 |
|---|---|---|---|
| 关系数据 | MySQL / PostgreSQL | 主数据与事务数据 | 扩展有上限,需读写分离或分库 |
| 缓存 | Redis | 会话、热点、分布式锁 | 一致性需管理,不能当唯一数据源 |
| 消息 | RocketMQ / Kafka | 异步事件、削峰、最终一致 | 需要幂等与补偿设计 |
| 对象存储 | MinIO / S3 | 文件、附件、导出产物 | 元数据仍需关系库管理 |
| 事务协调 | Seata 等 | 跨服务强一致边界 | 复杂度高,只在必要场景使用 |
| 分析层 | 数仓 / OLAP 引擎 | 报表、指标、归因 | 需要独立建模与同步链路 |
选型先看数据特征与访问模式,再看组件流行度。同一个能力不要引入多套组件。
4. 数据分级与安全
| 级别 | 例子 | 要求 |
|---|---|---|
| 公开 | 产品目录、公开文档 | 常规备份 |
| 内部 | 组织、流程、经营数据 | 最小权限、访问审计 |
| 敏感 | 个人信息、财务、凭据 | 加密、脱敏、严格授权 |
| 审计 | 操作日志、访问记录 | 完整性保障、独立保留 |
分级不落地等于没分级:每一级都要有对应的权限控制、脱敏规则与保留周期。
5. 数据流转
关键约束:业务库只服务本域;数仓单向取数,不回写业务库;跨域实时查询走接口,不直连数据库。
6. 一个实际例子
多业务域数字化平台技术方案 的数据设计:
- 每个服务独立数据库,命名按服务域划分;
- 关系数据用 MySQL 8,缓存用 Redis,事件走 RocketMQ,文件与导出产物进 MinIO;
- 跨服务事务只用 Seata 覆盖必要场景,其余优先消息与补偿;
- 报表与数仓规划为后续独立层,不反向侵入业务库。
7. 常见误区
- 用共享数据库当集成手段,应用边界形同虚设;
- 报表直连业务库,查询压力与耦合一起进入核心系统;
- 缓存被当作唯一数据源,缓存失效即数据丢失;
- 缺少数据字典与口径归属,同一个指标多个数;
- 数据分级写在文档里,权限控制没有对应实现。