架构视界
主页
企业架构
  • 方案总览
  • 业财一体
  • 企业中台
  • 组织与绩效
  • 流程治理
数据收集与分析
  • 转型总览
  • 信息化阶段
  • 数字化解决方案
  • 智数化解决方案
  • 智能化解决方案
  • 产品设计
  • 项目管理
全栈软件工程
AI 原生软件工程
方法论
博客
  • 资源导航
  • 效率工具
  • 展示专区
主页
企业架构
  • 方案总览
  • 业财一体
  • 企业中台
  • 组织与绩效
  • 流程治理
数据收集与分析
  • 转型总览
  • 信息化阶段
  • 数字化解决方案
  • 智数化解决方案
  • 智能化解决方案
  • 产品设计
  • 项目管理
全栈软件工程
AI 原生软件工程
方法论
博客
  • 资源导航
  • 效率工具
  • 展示专区
  • 数据收集与分析

    • 数据收集与分析
    • 问题与研究设计
    • 采集方法
    • 处理与质量
    • 分析与结论
    • 表达与反馈

处理与质量

采集到的材料默认不可信:定量数据缺失、重复、口径不一;定性资料散乱、主观、难比对。处理的目标是让每条证据可追溯、可复算。

1. 定量数据清洗

问题处理方式要记录什么
缺失补录、插值或标记缺失缺失原因与影响范围
重复按业务主键去重,保留最新或最全记录去重规则与丢弃数量
异常结合业务判断极端值是否真实异常规则与人工确认
格式不一统一编码、单位、时间与时区映射表与转换规则

清洗规则写成可执行的检查项,而不是一次性脚本。规则变更需要版本与生效时间。

2. 结构化与口径

  • 实体与编码:客户、物料、组织、受访者等核心对象统一编码;
  • 关系与时间:明确关联键,统一统计周期与时区,区分发生时间与记录时间;
  • 粒度:保留最小分析粒度,汇总在分析层按需生成;
  • 来源标记:每条记录保留来源与采集时间,便于回溯。

同一个指标名称必须有唯一定义:

要素说明
名称统一称呼,不用内部缩写
定义计算逻辑、分子分母、包含与排除条件
维度可按时间、区域、人群等哪些维度切分
责任人谁对口径解释与变更负责
版本变更的生效时间与历史版本

口径冲突通常不是技术问题,而是定义没有拍板。发现的冲突要回到业务确认,不能由一方单方面选择。

3. 定性资料整理

  • 转写与核对:录音转写后回听校对,标注说话人、时间与语气;
  • 编码:对访谈、观察与文本材料逐段打标签,编码表随材料迭代;
  • 主题归类:把相近编码归并为主题,保留每个主题下的原始引述;
  • 一致性:重要材料双人编码,分歧讨论后统一判定标准;
  • 反例留存:与主题相反的引述单独保留,不因"不合群"而丢弃。

质性材料同样要可复算:从结论能回到编码、从编码能回到原始引述。

4. 分析准备

处理阶段建立两类模型,不要混在一起:

  • 数据模型:维度模型、关系模型或事件模型,服务于存储与查询;
  • 分析模型:围绕问题组织指标、维度、编码与主题,服务于结论。

数仓分层属于数据模型;指标树、编码表与分析框架属于分析模型。两者变化节奏不同,要分开管理。

5. 质量校验

维度定量检查定性检查
完整性关键字段缺失率、记录数是否符合预期访谈是否覆盖计划人群、转写是否完整
唯一性主键与业务键是否重复同一受访者是否被重复计数
及时性数据到达是否满足时效材料是否在约定周期内整理
一致性跨表、跨系统同一实体是否一致双人编码一致率、主题归属是否互斥
合理性数值范围、同比环比是否符合规律结论是否有原始引述支撑

质量规则要有告警与责任人。只出质量报告、不闭环处理,规则会逐渐失效。

6. 本阶段产出

产物内容
清洗与映射规则可执行的检查项、转换规则与版本
口径说明指标定义、维度、责任人与生效时间
编码表与主题表编码定义、示例引述与归并关系
质量报告各维度检查结果、异常清单与处理记录

7. 常见误区

  • 清洗脚本散落在个人电脑,换人即失效;
  • 指标口径写在报表备注里,没有唯一责任人;
  • 数据模型与分析模型混用,问题一变就要改底层表;
  • 定性编码只有一个人做,没有定义也没有复核;
  • 只保留支持结论的引述,反例被悄悄删掉;
  • 只处理明显错误,不记录清洗过程,结论无法复算。

继续阅读

  • 采集方法:材料从哪里来、偏差如何控制
  • 分析与结论:可信材料如何变成站得住的观点
  • 智数化解决方案:数仓分层与指标治理的架构产物
最近更新: 2026/11/20 18:00
Contributors: 庆峰
Prev
采集方法
Next
分析与结论