处理与质量
采集到的材料默认不可信:定量数据缺失、重复、口径不一;定性资料散乱、主观、难比对。处理的目标是让每条证据可追溯、可复算。
1. 定量数据清洗
| 问题 | 处理方式 | 要记录什么 |
|---|---|---|
| 缺失 | 补录、插值或标记缺失 | 缺失原因与影响范围 |
| 重复 | 按业务主键去重,保留最新或最全记录 | 去重规则与丢弃数量 |
| 异常 | 结合业务判断极端值是否真实 | 异常规则与人工确认 |
| 格式不一 | 统一编码、单位、时间与时区 | 映射表与转换规则 |
清洗规则写成可执行的检查项,而不是一次性脚本。规则变更需要版本与生效时间。
2. 结构化与口径
- 实体与编码:客户、物料、组织、受访者等核心对象统一编码;
- 关系与时间:明确关联键,统一统计周期与时区,区分发生时间与记录时间;
- 粒度:保留最小分析粒度,汇总在分析层按需生成;
- 来源标记:每条记录保留来源与采集时间,便于回溯。
同一个指标名称必须有唯一定义:
| 要素 | 说明 |
|---|---|
| 名称 | 统一称呼,不用内部缩写 |
| 定义 | 计算逻辑、分子分母、包含与排除条件 |
| 维度 | 可按时间、区域、人群等哪些维度切分 |
| 责任人 | 谁对口径解释与变更负责 |
| 版本 | 变更的生效时间与历史版本 |
口径冲突通常不是技术问题,而是定义没有拍板。发现的冲突要回到业务确认,不能由一方单方面选择。
3. 定性资料整理
- 转写与核对:录音转写后回听校对,标注说话人、时间与语气;
- 编码:对访谈、观察与文本材料逐段打标签,编码表随材料迭代;
- 主题归类:把相近编码归并为主题,保留每个主题下的原始引述;
- 一致性:重要材料双人编码,分歧讨论后统一判定标准;
- 反例留存:与主题相反的引述单独保留,不因"不合群"而丢弃。
质性材料同样要可复算:从结论能回到编码、从编码能回到原始引述。
4. 分析准备
处理阶段建立两类模型,不要混在一起:
- 数据模型:维度模型、关系模型或事件模型,服务于存储与查询;
- 分析模型:围绕问题组织指标、维度、编码与主题,服务于结论。
数仓分层属于数据模型;指标树、编码表与分析框架属于分析模型。两者变化节奏不同,要分开管理。
5. 质量校验
| 维度 | 定量检查 | 定性检查 |
|---|---|---|
| 完整性 | 关键字段缺失率、记录数是否符合预期 | 访谈是否覆盖计划人群、转写是否完整 |
| 唯一性 | 主键与业务键是否重复 | 同一受访者是否被重复计数 |
| 及时性 | 数据到达是否满足时效 | 材料是否在约定周期内整理 |
| 一致性 | 跨表、跨系统同一实体是否一致 | 双人编码一致率、主题归属是否互斥 |
| 合理性 | 数值范围、同比环比是否符合规律 | 结论是否有原始引述支撑 |
质量规则要有告警与责任人。只出质量报告、不闭环处理,规则会逐渐失效。
6. 本阶段产出
| 产物 | 内容 |
|---|---|
| 清洗与映射规则 | 可执行的检查项、转换规则与版本 |
| 口径说明 | 指标定义、维度、责任人与生效时间 |
| 编码表与主题表 | 编码定义、示例引述与归并关系 |
| 质量报告 | 各维度检查结果、异常清单与处理记录 |
7. 常见误区
- 清洗脚本散落在个人电脑,换人即失效;
- 指标口径写在报表备注里,没有唯一责任人;
- 数据模型与分析模型混用,问题一变就要改底层表;
- 定性编码只有一个人做,没有定义也没有复核;
- 只保留支持结论的引述,反例被悄悄删掉;
- 只处理明显错误,不记录清洗过程,结论无法复算。