一、无效问卷的危害
无效问卷(Invalid Response)是指那些没有真实反映受访者想法的问卷,包括敷衍作答、随机选择、作弊等。无效问卷会污染数据,导致分析结果失真,影响决策质量。
在数据收集过程中,一定比例的无效应答难以避免。关键是建立识别机制,在数据分析前剔除无效问卷,确保分析基于真实可靠的数据。
二、四种常见的无效作答模式
模式1:直线型回答(Straight-lining)
受访者在矩阵题或量表题中选择相同的答案,形成一条直线。
识别方法:
- 矩阵题中所有行选择同一列
- 量表题全部选择中间值(如全选3分)
- 量表题全部选择极端值(如全选1分或5分)
注意:不是所有直线型回答都是无效的。如果受访者确实对所有项目的感受一致,直线回答可能是真实的。需要结合其他指标判断。
模式2:答题时间异常
答题时间过短(明显快于正常阅读速度)或过长(可能是中途离开)。
识别方法:
- 计算每道题的平均答题时间
- 标记低于平均时间50%或高于平均时间200%的问卷
- 考虑问卷长度,设定合理的时间下限(如每题不少于3秒)
模式3:逻辑矛盾
问卷内部存在逻辑不一致的回答。
识别方法:
- 年龄与出生年份不符
- 从未使用过某产品,但在后续题目中评价该产品
- 在重要性排序中,A>B, B>C, 但C>A
- 前后态度矛盾(如前说非常满意,后说绝对不会推荐)
模式4:注意力检测失败
问卷中设置注意力检测题,受访者没有按要求作答。
常见注意力检测题:
- "请选非常同意"
- "如果认真读题,请选不同意"
- 简单的数学题(如2+3=?)
- 重复题目(看两次回答是否一致)
三、识别无效问卷的综合策略
策略1:多指标综合判断
不依赖单一指标,而是综合多个指标:
- 答题时间
- 答案模式(直线型、之字形等)
- 逻辑一致性
- 注意力检测
- 开放题质量(字数、相关性)
设定评分规则,如满足3项以上异常标记为无效。
策略2:分阶段筛选
在数据收集的不同阶段进行筛选:
- 实时筛选:答题过程中检测异常,及时终止
- 初步筛选:数据收集完成后,剔除明显无效问卷
- 深度筛选:数据分析前,综合评估边缘案例
策略3:统计方法识别
使用统计方法识别异常回答:
- Mahalanobis距离:识别多变量异常值
- 聚类分析:识别异常的回答模式群组
- 项目反应理论:识别不符合模型的回答
策略4:开放题质量评估
开放题是识别无效问卷的重要依据:
- 字数过少(如少于5个字)
- 内容不相关(乱码、复制粘贴、明显敷衍)
- 与题目要求不符
- 多个开放题回答雷同
四、预防无效问卷的措施
1. 问卷设计优化
- 题目清晰,避免歧义
- 逻辑跳转合理
- 控制问卷长度
- 设置注意力检测题
2. 样本质量控制
- 选择可靠的样本来源
- 验证受访者身份
- 避免专业受访者过度参与
- 设置参与频率限制
3. 激励机制设计
- 合理的报酬(不过高吸引作弊者,不过低导致敷衍)
- 抽奖机制(降低单次参与价值)
- 质量奖励(对高质量回答额外奖励)
4. 技术防护
- IP地址检测(防止同一IP多次作答)
- 设备指纹识别
- 答题行为分析(鼠标轨迹、停留时间)
- 验证码防机器人
五、无效问卷的处理
1. 明确剔除标准
在项目开始前明确无效问卷的定义和剔除标准,避免事后主观判断。
2. 分级处理
- 明显无效:直接剔除
- 边缘案例:标记,分析时对比纳入/剔除的影响
- 存疑案例:人工复核
3. 记录剔除过程
详细记录:
- 剔除的问卷数量
- 剔除原因
- 剔除标准
- 对样本代表性的影响
4. 报告说明
在报告中说明:
- 原始样本量
- 无效问卷数量和比例
- 剔除标准
- 最终有效样本量
六、常见误区
| 误区 | 正确做法 |
|---|---|
| 为了保留样本,放松剔除标准 | 宁可样本减少,也要保证数据质量 |
| 只看答题时间 | 综合多个指标判断 |
| 事后随意剔除 | 事先设定标准,按规则执行 |
| 剔除后不报告 | 透明报告剔除情况 |
| 认为所有直线型都是无效 | 结合其他指标,考虑真实可能性 |
七、总结
识别无效问卷是数据质量控制的重要环节:
- 了解常见的无效作答模式
- 建立多指标综合识别体系
- 在数据收集各阶段进行质量控制
- 采取预防措施减少无效问卷
- 明确标准,透明处理,诚实报告
记住:数据质量比样本量更重要。100份高质量的数据比500份掺杂无效数据更有价值。