数据清洗
收集到的材料默认不可信:缺失、重复、口径不一,定性资料散乱、难比对。清洗的目标是让每条证据可追溯、可复算。
方法与模型:先定口径再动手,按实体对齐、缺失与重复规则、异常判定处理;以质量报告交付,每条规则可复算。
清洗先从口径开始
口径冲突通常不是技术问题,而是定义没有拍板。同一指标必须先有唯一定义:
| 要素 | 说明 |
|---|---|
| 名称 | 统一称呼,不用内部缩写 |
| 定义 | 计算逻辑、分子分母、包含与排除条件 |
| 维度 | 可按时间、区域、人群等哪些维度切分 |
| 责任人 | 谁对口径解释与变更负责 |
| 版本 | 变更的生效时间与历史版本 |
实体、时间与粒度同样要先统一:客户与组织用同一编码,区分发生时间与记录时间,保留最小分析粒度。
缺失、重复、异常各有规则
| 问题 | 处理方式 | 要记录什么 |
|---|---|---|
| 缺失 | 补录、插值或标记缺失 | 缺失原因与影响范围 |
| 重复 | 按业务主键去重,保留最新或最全记录 | 去重规则与丢弃数量 |
| 异常 | 结合业务判断极端值是否真实 | 异常规则与人工确认 |
| 格式不一 | 统一编码、单位、时间与时区 | 映射表与转换规则 |
清洗规则写成可执行的检查项,而不是一次性脚本。规则变更需要版本与生效时间,否则下一位分析者无法复算。
定性材料同样要可复算
- 转写与核对:录音转写后回听校对,标注说话人、时间与语气;
- 编码:对访谈、观察与文本材料逐段打标签,编码表随材料迭代;
- 主题归类:把相近编码归并为主题,保留每个主题下的原始引述;
- 一致性:重要材料双人编码,分歧讨论后统一判定标准;
- 反例留存:与主题相反的引述单独保留,不因“不合群”而丢弃。
质性材料同样要能从结论回到编码、从编码回到原始引述。
质量检查要能闭环
| 维度 | 定量检查 | 定性检查 |
|---|---|---|
| 完整性 | 关键字段缺失率、记录数是否符合预期 | 访谈是否覆盖计划人群 |
| 唯一性 | 主键与业务键是否重复 | 同一受访者是否被重复计数 |
| 一致性 | 跨表、跨系统同一实体是否一致 | 双人编码一致率、主题是否互斥 |
| 合理性 | 数值范围、同比环比是否符合规律 | 结论是否有原始引述支撑 |
质量规则要有告警与责任人。只出质量报告、不闭环处理,规则会逐渐失效。
清洗阶段交付四件
| 产物 | 内容 |
|---|---|
| 清洗与映射规则 | 可执行的检查项、转换规则与版本 |
| 口径说明 | 指标定义、维度、责任人与生效时间 |
| 编码表与主题表 | 编码定义、示例引述与归并关系 |
| 质量报告 | 检查结果、异常清单与处理记录 |
公开边界
只公开清洗、口径、编码与质量校验的方法和交付物;不包含真实数据表、字段清单、编码本原文与质量报告。