架构视界架构视界
  • 架构蓝图总览
  • 业务架构
  • 应用架构
  • 数据架构
  • 技术架构
  • 架构治理
  • 转型规划总览
  • 现状与路径
  • 信息化
  • 数字化
  • 智数化
  • 智能化
  • 平台架构总览
  • 架构蓝图
  • 规模与取舍
  • 交付与治理
  • AI 赋能
  • 场景方案总览
  • 业财一体
  • 企业中台
  • 组织与绩效
  • 流程治理
  • 行业方案总览
  • 项目管理总览
  • 管理框架
  • 研发工程总览
  • 需求与设计
  • 研发工程
  • 测试工程
  • 运维工程
  • AI 原生
  • 数据收集与分析总览
  • 数据收集
  • 数据清洗
  • 数据可视化
  • 数据分析
  • 数据报告
  • 博客与报告总览
  • 报告专题
  • 标签索引
  • 站点地图
  • 架构蓝图总览
  • 业务架构
  • 应用架构
  • 数据架构
  • 技术架构
  • 架构治理
  • 转型规划总览
  • 现状与路径
  • 信息化
  • 数字化
  • 智数化
  • 智能化
  • 平台架构总览
  • 架构蓝图
  • 规模与取舍
  • 交付与治理
  • AI 赋能
  • 场景方案总览
  • 业财一体
  • 企业中台
  • 组织与绩效
  • 流程治理
  • 行业方案总览
  • 项目管理总览
  • 管理框架
  • 研发工程总览
  • 需求与设计
  • 研发工程
  • 测试工程
  • 运维工程
  • AI 原生
  • 数据收集与分析总览
  • 数据收集
  • 数据清洗
  • 数据可视化
  • 数据分析
  • 数据报告
  • 博客与报告总览
  • 报告专题
  • 标签索引
  • 站点地图
  • 数据收集与分析总览
  • 数据收集
  • 数据清洗
  • 数据可视化
  • 数据分析
  • 数据报告

数据清洗

收集到的材料默认不可信:缺失、重复、口径不一,定性资料散乱、难比对。清洗的目标是让每条证据可追溯、可复算。

方法与模型:先定口径再动手,按实体对齐、缺失与重复规则、异常判定处理;以质量报告交付,每条规则可复算。

清洗先从口径开始

口径冲突通常不是技术问题,而是定义没有拍板。同一指标必须先有唯一定义:

要素说明
名称统一称呼,不用内部缩写
定义计算逻辑、分子分母、包含与排除条件
维度可按时间、区域、人群等哪些维度切分
责任人谁对口径解释与变更负责
版本变更的生效时间与历史版本

实体、时间与粒度同样要先统一:客户与组织用同一编码,区分发生时间与记录时间,保留最小分析粒度。

缺失、重复、异常各有规则

问题处理方式要记录什么
缺失补录、插值或标记缺失缺失原因与影响范围
重复按业务主键去重,保留最新或最全记录去重规则与丢弃数量
异常结合业务判断极端值是否真实异常规则与人工确认
格式不一统一编码、单位、时间与时区映射表与转换规则

清洗规则写成可执行的检查项,而不是一次性脚本。规则变更需要版本与生效时间,否则下一位分析者无法复算。

定性材料同样要可复算

  • 转写与核对:录音转写后回听校对,标注说话人、时间与语气;
  • 编码:对访谈、观察与文本材料逐段打标签,编码表随材料迭代;
  • 主题归类:把相近编码归并为主题,保留每个主题下的原始引述;
  • 一致性:重要材料双人编码,分歧讨论后统一判定标准;
  • 反例留存:与主题相反的引述单独保留,不因“不合群”而丢弃。

质性材料同样要能从结论回到编码、从编码回到原始引述。

质量检查要能闭环

维度定量检查定性检查
完整性关键字段缺失率、记录数是否符合预期访谈是否覆盖计划人群
唯一性主键与业务键是否重复同一受访者是否被重复计数
一致性跨表、跨系统同一实体是否一致双人编码一致率、主题是否互斥
合理性数值范围、同比环比是否符合规律结论是否有原始引述支撑

质量规则要有告警与责任人。只出质量报告、不闭环处理,规则会逐渐失效。

清洗阶段交付四件

产物内容
清洗与映射规则可执行的检查项、转换规则与版本
口径说明指标定义、维度、责任人与生效时间
编码表与主题表编码定义、示例引述与归并关系
质量报告检查结果、异常清单与处理记录

公开边界

只公开清洗、口径、编码与质量校验的方法和交付物;不包含真实数据表、字段清单、编码本原文与质量报告。

最近更新: 2026/11/22 21:15
Contributors: 庆峰
Prev
数据收集
Next
数据可视化