问题与研究设计
采集之前先回答"要回答什么问题、什么证据算数"。设计不清时,采集越多,后续整理与分析的返工越多。
1. 从议题到研究问题
议题通常是模糊的,研究问题必须可观测、可证伪:
| 模糊议题 | 可研究的问题 | 需要的证据 |
|---|---|---|
| 用户流失严重 | 哪些用户在哪一步流失,原因是什么 | 行为日志 + 流失用户访谈 |
| 是否进入某区域市场 | 市场空间、竞争强度、准入门槛多大 | 市场数据 + 竞品拆解 + 渠道访谈 |
| 改版效果如何 | 改版是否提升目标行为,幅度多大 | 对照实验或前后对比(控制外因) |
| 交付周期为什么变长 | 哪个环节耗时增加,原因是什么 | 流程数据 + 一线访谈 |
| 系统为什么变慢 | 延迟集中在哪个链路,何时开始 | 日志、链路追踪 + 变更记录 |
问题写到"可观测"这一层,证据才有边界;只写"要数据",最后会收到一堆无法支撑结论的明细。
2. 证据类型:定性、定量与混合
| 类型 | 回答什么问题 | 典型数据 | 局限 |
|---|---|---|---|
| 定量 | 多少、比例、趋势、是否显著 | 系统数据、问卷量表、实验结果 | 对"为什么"解释力弱 |
| 定性 | 为什么、怎么发生、有哪些类型 | 访谈、观察、文本、个案 | 代表性有限,受研究者影响 |
| 混合 | 既有规模也有解释 | 定量定位 + 定性解释,或反之 | 成本高,需要明确分工 |
先确定问题类型,再选证据。手头只有哪类数据就只做哪类分析,是最常见的偏差来源。
3. 研究设计单
每条研究记录七项,作用是确认边界:
| 字段 | 说明 |
|---|---|
| 问题 | 要回答的具体问题与判定标准 |
| 证据 | 定性、定量或混合;采集哪些数据、记录什么 |
| 样本 | 对象、抽样方式、样本量与代表范围 |
| 来源 | 一手、二手、外部;可信度与合规状态 |
| 时效 | 一次性、周期性还是实时,与决策节奏匹配 |
| 限制 | 明确不做什么、已知的约束 |
| 责任人 | 谁设计、谁采集、谁分析、谁使用 |
4. 抽样与代表性
- 抽样方式:目的抽样适合定性深挖,分层抽样适合控制结构差异,方便抽样成本低但偏差大;
- 样本量:定性看信息饱和(新访谈不再带来新主题),定量看统计功效与最小可检测效应;
- 常见偏差:只访到活跃用户(幸存者偏差)、只收到愿意填问卷的人(无应答偏差)、只依赖系统内数据(系统外流程缺失)。
样本说明写清"能代表什么、不能代表什么",比追求更大的样本更有用。
5. 来源分级
来源决定可信度,也决定采集成本:
| 级别 | 来源 | 特点 | 使用建议 |
|---|---|---|---|
| 一手 | 业务系统、日志、访谈与观察记录、实验 | 可追溯、时效好、成本高 | 关键结论优先使用 |
| 二手 | 内部报表、数仓、汇总材料 | 加工过、口径可能偏移 | 必须核对加工逻辑 |
| 外部 | 行业报告、公开数据、竞品信息 | 覆盖广、口径不可控 | 用于背景与交叉验证 |
同一结论尽量有两个独立来源。只有一个来源时,在结论里标明。
6. 合规与伦理
- 只采集与研究问题相关的最小必要数据,敏感字段单独标记;
- 访谈与问卷需要知情同意,说明用途、保存方式与退出权利;
- 明确授权范围:谁能采集、谁能访问、保存多久;
- 外部数据遵守来源方的使用条款,保留来源记录;
- 涉及个人信息与商业敏感信息时,先脱敏再进入分析环节;
- 公开输出遵循站点的公开边界,不展示客户、环境与凭据信息。
7. 本阶段产出
| 产物 | 内容 |
|---|---|
| 研究方案 | 问题、证据类型、样本、来源、时效、限制与责任人 |
| 证据清单 | 每项证据对应哪个问题、怎么采集、怎么核验 |
| 采集计划 | 渠道、频率、责任人、校验规则与交付时间 |
8. 常见误区
- 先有数据再找问题,分析变成"数据钓鱼";
- 问题大而全,既不聚焦也无法证伪;
- 只有定量没有解释,或只有定性却下全量结论;
- 样本方便可得,代表性没有评估;
- 忽略合规与知情同意,结果无法对外使用。