从问卷设计流程看问卷质量的控制点

 问卷法作为定量分析手段之一，在我们的用户研究中常用来调查用户对我们产品的体验或征询意见，从而为改善产品提供量的支持。

问卷法既可用于基础用户研究，也可用于产品用户研究；既可用于横向研究，也可用于纵向研究。需要根据不同的研究目的，来确定不同的问卷质量审核手段。为了使问卷法获得的数据能够客观的反映现实问题，我们总结了以下几点保证质量的控制点。

说明：
基础用户研究：将用户按照性别、年龄、职业、收入、教育、地区等来进行分类，从中可以得到在某个具体行业中，人群的基本特征和观点。但这种分类方法并不能帮助发现能支持产品改进的数据。
产品用户研究：通常是从用户的行为差异开始分析，差异行为背后往往是驱动因素（动机）在起作用，而动机又取决于目标，所以最后通常会落到用户目标上。先按“目标”来划分用户群，然后去了解具有相同目标的用户人口统计学资料，这和基础用户研究刚好相反，也正因为如此，两者是相互补充，互通有无的。
引用自《产品用户研究和基础用户研究》Angela 发表于User Research

一、确定研究目的

确定研究目的在任何研究中都是最重要的环节，在编制问卷之前，我们必须明确该问卷要达到的目标（即需求方希望调查的内容，简称需求点），调查的目标人群和渠道。

1. 目标：

* 控制需求点：因为问卷的题项过多会影响到用户答题的质量，根据前人研究的结果与实际经验，我们认为问卷中设置的态度题不应该超过20 个，总题项最好不要超过30 个。
* 搜集资料方法：可以采用桌面研究（客服反馈、日志分析、销售、市场）、头脑风暴、电话访谈等方法来明确问卷的核心目标，并为编制问卷积累资料。

2. 对象：

在编制问卷之前，我们必须明白我们问卷调查的目标群体，针对实际的研究，需要明确用户群的分类与定义，最好能用客观的指标来区分。例如：
* 新用户、流失用户、连续用户
* 不同资金渠道的用户
* 不同活跃程度的用户

3. 渠道：

问卷投放的时候需要考虑样本的代表性、回收周期和数量。
一般投放周期为一周。可以采用定向投放（例如邮件投放）和非定向投放（例如线上系统）。定向投放回收率不应小于5%（完成问卷的人数/ 参与调查的总人数）。

二、形成问卷初稿

1.内容结构

*测谎题1/2题，用于商业智能系统判断用户是否认真答题。
*反向题
*尽量不用单道题来评定

2.项目形式

*选择题&开放性
*单选&多选
*等距量表

3.编制中要避免的一些问题

*问卷设计者与调查者对概念的理解不一致。
*两个以上概念在同一题目中出现。
*使用专门术语、行语、俗语。
*答案设置漏掉了综合性的选项。
*出现带有某种倾向的暗示性问题。
*使用不肯定的词。
*出现调查对象未经历过的，导致结果虚假。
*使用可作多种解释，意义含糊的词。
*陈述使用否定句，答卷者忽略而误解题意。
*问题缺乏受限制的前提。
*题目中供选择的项目未包含所有的程度。

4.指导语

*建立初步心理融洽，引起回答的意向与动机，需要表明以下几点：
调查者的身份
研究的目的和价值
需要调查对象的协作的重要性
*问卷作答要求

三、内部审核

在问卷正式上线之前，还需要进行审核与测试。

1.专家审核

*针对问卷的内容，使项目与需求点之间的关系达到最佳。
评定内容
*所设置的问题与所研究的主题密切相关
*题目应清楚，无歧义
*尽量不要使用带有倾向性的问题
*所提出的问题应为被调查者能够回答的问题
*尽量不提带有社会压力的问题
*所提问题应尽量具体
*对某些不易理解的问题应尽量作些简单解释
*询问回答者的切身体验比普遍提法要好
*采用多种方式减轻问题可能给回答者带来的社会压力
计分方法
*4~5名专家独立评定，半数以上人通过的项目才能使用
*对于评定不通过的进行修改

2.内部测试

*针对问卷用语、形式。4~5人，被试参与设计，可以采用的一些问题：
你对整个问卷感觉怎样？
当你说“……”时你心里是怎样想的？
这个问题如果这样问，你会怎样回答？
如果这样问“……”你回答起来会有什么困难吗？

3.外部试测

*正式的预测，200人，被试不参与设计，初步分析问卷的结果，及早发现问题。这里针对不同的问卷，侧重于不同方面。
有结构的问卷
*信度分析
例如：科隆巴哈α低于0.5的项目进行修改。
*效度分析
问卷反映的是要测量的内容，有多种效度。如：结构效度，效标效度等。
无结构的问卷
对于有开放性回答题，进行分析，是否遗漏重要选项。

四、正式投放

针对我们的产品，回收最小有效单位样本不少于300，分析才有意义。