问卷调查方法使用小结

问卷调查(questionnaire)是用户研究或市场研究中非常常用的一种方法，这种方法可在短期内收集大量回复，而且借助网络传播调研成本也比较低，所以得到广泛的使用，但是似乎有些人认为问卷调查就是设计若干问题然后发给用户填写就行了，但其实越是简单的调查方法越是有需要注意的地方，这样才能真正发挥该方法的优势，下面就结合自己近期的项目实践对这种方法进行总结，意在总结流程，所以具体的题目此处不做呈现。

　　一 问卷调查的基本定义

　　1问卷调查与量表

　　其实问卷调查本人更倾向于称之为调查表(questionnaire或者survey),它与心理学上常见的量表(scale)还是有很大差异的

　　总的来说，问卷调查更多的用于了解目标对象对某些事情的态度，认知等，而量表是用来描述目标对象的某种心理特质在群体中的相对位置，如智力量表等，在企业的实际工作中，问卷调查法使用频率更高。

　　2问卷调查的用途

　　正是由于问卷调查的基本形式是设计问题，提供选项供用户填写，所以问卷调查更适合收集用户对现有产品的态度、基本习惯信息和人口统计学特征等，不太适合用于探索发现新需求新问题(无法提供选项，而用户自己填写意见/建议的比率也非常低)，而且其具有投放成本低，参与成本低的特点，特别适合需要大量样本的用研项目。

　　3关于问卷调查网站

　　目前提供问卷调查表设计和投放的网站很多，个人用户使用免费版本一般都可以满足需求，企业的话，一般是自己开发相应功能或购买使用调查表网站的企业版本，就我而言，对使用过的三种调查表网站进行简单评价。

　　(1) 问道(http://www.askform.cn/)

　　仅使用过个人版本的，支持2000份答复，设计问卷的界面比较清晰易懂，支持的题型不算特别多，不支持选项中插入图片，不能看到其他用户的问卷的答复。

　　(2) 问卷星(http://www.sojump.com/)

　　仅使用过个人版本，支持20000份答复，支持的题型比较全，可以看到别的问卷的答复，有常用题库功能，个人认为这个网站功能比较全，考虑日后使用企业版本。

　　(3) Survey monkey(https://zh.surveymonkey.com/)

　　目前正在使用企业版本，支持自定义主题，跳转页面等，虽然是美国知名的调查网站，但国内使用页面打开速度很慢，且中文版本仅支持繁体字，支持的题型不算多，无法看到其他用户的问卷，更无法看到其他用户的问卷答复结果，没有常用题库。

　　二 问卷调查表的设计

　　1调查目的

　　明确调查目的非常重要，这决定了调查表的结构，问题的设计等，如果是运营等其他部门提出的需求，一定需要和能最终拍板的人沟通调查目的，不然很多人都希望加进去自己想调查的题目，会造成结构不清晰，题量过多的问题，而且由此造成的反复增减问题也没有实际意义。而且考虑到题量的问题，目的不宜过于宏大，一次集中精力调查一两个主要问题为宜。

　　2题目设计

　　题目的设计要围绕调研目的展开，以电子商务网站满意度调查为例，首先分解影响满意度的因素，可以参看有关理论，其他研究资料或者其他部门同事的意见，得到网站，服务，购物流程和物流四个因素，每个因素还可以根据需要进一步分解，得到更多指标。如果前期题目设计时结构比较清晰，后续的结果分析也可以用过更深入的统计方法。

　　除此之外还应注意一个题目仅针对一个问题来询问，不然容易另用户迷惑，题目的表述要尽量简洁易懂，避免歧义，虽然在很多调查表网站中，多选题和单选题的选项按钮是不一样的，但是个人还是建议再多选题题干中提示“可多选”，以尽量减少误解造成的误差。

　　关于题目的呈现问题，有些调查表是一道题目一个页面，填写完一题点击下一页继续，我认为在网速不好的情况这种呈现方式会徒然的增加用户的填答时间甚至是焦虑情绪，如果不涉及逻辑跳转题的话，最好一个页面呈现所有的题目，题量的设计尽量在15题或填答时长控制在5分钟以内。关于人口统计学特征题目的位置，个人倾向于根据调研目的而定，如果目的就是搜集用户基本信息，就放在调查表开头，如果目的是收集产品反馈，就放在题目末尾为宜。这样即使用户中途弃答，我们也能搜集到比较重要的题目的反馈以作参考。

　　在问卷调查表中往往需要设置逻辑题，来针对具备某些特征的用户进行调查，所以在设计问题时需要了解该问题是针对所有用户还是部分用户，具体来看下面的例子

　　在这道题目之前我并未填写任何分享照片有顾虑的内容，而且我也没有这方面的顾虑，所以这道题真的难倒我了，只能迫选了。

　　不要忽视末尾处建议/意见题目，在本次项目一开始我会认为用户很少有耐心会填写这类开放式问题，但实际上还是有很多用户提供了宝贵意见，反馈的积极性远超过的我想象。所以这也是一个搜集用户新需求或问题的一个途径，虽然回收到的答复未必很多，但成本很低，值得尝试。

　　3选项内容设计

　　题目的设计非常重要，这决定了调研目的的实现度，但是回复质量往往由选项内容而定，因为用户的态度，习惯，爱好等是通过选择我们提供的选项而得到，所以选项内容的是否全面、合理就非常重要，这个也要根据具体情况而定，但需要注意的是，选项要尽量全面，彼此不包含。下面有个反面的例子：

　　这里如果工作经验恰好是3年的是选哪个呢?也许这类题目对答复质量要求不高，但毕竟存在歧义，应该避免。

　　同时一个选项就应该只包含一个内容，需要仔细推敲，见下面的例子

　　一开始设计“能容易的找到目标商品”这道题目的用意在于调查用户对搜索或导航功能的评价，但是后来也发现这道题目同样可以用于评估商品种类是否丰富，这样就存在歧义了。

　　关于意见态度类的题目尽量采取里克特量表的形式，可以得到更多信息，且便于后续的统计分析。对于选项较多的题目，建议将其设置成选项内容随机排序，以避免有用户图省事只选择前面几项，平衡顺序效应。

　　为了进一步统计调查表质量，有时候也需要设置反向计分题，甚至“测谎题”，以查看前后回答的逻辑是否一致，以提供后续数据处理的筛选指标。

　　在题目和选项都设计好之后，需要请相关人员和与该调查项目无关的其他同事进行试测，这个环节非常必要。

　　三调查表的投放

　　编制好后的调查表对于投放方式，时间等问题也是需要考虑和记录的，不仅有利于提升收集到的回复质量，也便于为以后的调查表投放积累经验。

　　1 投放方式

　　对于互联网公司，目前常用的投放方式是放置在页面上或者EDM，其中对于放置在页面的调查表，一般是放置在需要调查的页面上，具体页面上的位置常见的是侧页面跟随或者右下角，如果能得到足够的支持，甚至可以在首页得到轮播banner的位置。有文章分析过问卷的不同入口位置的效应，关于网页问卷入口的小结，该文章已经分析的相当详细，当然各个网站的情况可能会有差异，所以建议在每次投放时都对投放情况进行记录，由于调查主题，节假日，网站同期活动等因素的影响，也许很难得到不同页面，不同位置的回复质量的明显规律，但是总可以为以后的投放积累经验。关于EDM的投放效果，有兴趣的可以看这篇文章，影响用户响应与填答问卷的要素_邮箱投放问卷。

　　不管是哪种投放方式，都存在样本代表性的问题，即很难做到真正的随机抽样，即使是EDM针对目标用户发送，依然会仅有部分用户响应，这部分要么对产品意见很大，要么就是相对比较积极的用户，因此在使用调查表结果时一定要注意其代表性，批判性的接受。为了吸引用户填写，有时候会设置奖品环节，但应注意目前存在专门收集有奖调查的网站，其中的用户会“热衷”的填写各种有奖调查表，因此在有奖调查时要着重注意对回复质量进行筛选控制。

　　2 投放时间

　　关于投放时间其实存在两个方面，具体投放发出的时间和投放时长，对于在网页上发布的调查，由于资源有限，往往在投放前就需要对投放时长进行预估，如何在有限的时间内得到尽量多且质量高的回复非常重要，同样需要对每次的投放进行记录分析，具体的做法可以参见调研问卷投放时间的探讨。与投放方式类似的，由于各种影响因素的存在，也很难找到投放时间明显的规律，在我本次的调查中，仅发现在调查表投放初期，用户填答率相对较高，在一周内的时间内，周三和周四的填答率相对较高，但差异并不显著。另外在投放时长方面，仅从经验来看，建议两周为宜。 关于投放方式和投放时间，由于各个网站都存在自身的特点，即使进行统计分析，也难以发现明显的规律，建议还是多做记录，多积累才会更有经验，具体的分析方法可以参看上面给出的文章。每次需要记录的指标包含但不限于投放时长，回收答复数，uv，填答率，完整填答率，有效填答率，平均用时等。

　　四 调查表结果分析

　　1数据初步处理

　　虽然现有很多调查网站支持数据分析，快速的生成各种图表，有的还能直接生成一份报告，但我还是建议从数据的明细入手，根据一些指标删除部分不合理的数据再进行分析。可供参考的指标，填答时长，IP，用户基本信息，调查表内的控制题目等。

　　填答时长

　　填答时长是个比较常用的筛选指标，但是由于问卷内容彼此差异较大，制定筛选的标准似乎难以统一，有的是通过作图(spss箱形图)，也可以通过修剪平均数的做法(例如去掉头尾5%的部分)。

　　IP

　　目前很多调查表网站可以收集IP地址，这也是有奖调查活动中了解用户是否重复参与的一个途径，当然不排除动态IP或者网吧填写的可能，所以使用要慎重。在设计网站时就控制一台电脑/一个IP只能填答一次。

　　用户基本信息

　　有些调查中会搜集用户的基本信息，如网站账号或电话等，这些指标也可以用于判断是否重复参与答题。

　　调查表内的控制题目

　　这个主要通过题目之间的前后逻辑进行判断，举个例子，如用户在“xx满意度”题目中满意度给分很高，但是在随后“对xx的评价”中评价很低的话，那么答卷质量就可能存在问题，想要通过题目控制调查表质量需要在设计调查表时就进行深入的思考和准备。

　　当然，筛选标准不限于以上几种，具体的要依照调查表自身特点，不妨多个筛选指标组合使用。

　　2统计分析方法

　　调查表结果分析所使用的方法往往是和调查表的设计有关，比如“您是否愿意推荐xx”，如果选项设置为“是/否”就得到一个二分变量，而设置成里克特量表形式就可以得到推荐意愿度的数值，相应的统计分析方法也会有所不同。

　　除了统计分析每一题目的答复情况，对一些题目进行交叉分析，相关分析，或差异检验也可以帮我们更多了解数据背后的信息。

　　调查表的结构也会影响统计方法的使用，特别是需要进行深入统计分析，探明各个指标之间关系的时候。如我曾调查过用户对商城信任度的评价，经过资料搜集，编制了服务，产品，，网站设计，付款安全性等几个指标的题目，收集数据后对这些指标进行了因素分析(采用了主成分分析法)，kmo和巴勒特球形检验都显示适合因素分析，结果显示提取出了一个因素，解释变异78%，是否就可以表明商城的信任度就是由调查表中的那些指标组成呢，是否就得到了信任度模型呢?答案是否定的，以上仅仅是建立模型的探索性因素分析部分，如果真的需要建立信任度模型还需要验证性因素分析部分(结构方程模型，可以用AMOS实现)。如果需要采用调查表的方法建立模型，仅仅使用因素分析进行降维是不够的，降维和建立模型还差的很远。模型是否成立就与当初设计调查表时思考深度和实际工作需要有关。

　　另外，目前本人对一些开放性的意见/建议类题目的分析还没有很有效的方法，只能逐条查看，将涉及到的问题分类汇总，但是这样比较耗时，待改进。

　　关于多选题的分析方法，已经有文章进行了深入分析，有兴趣可以查看调研问卷中多选题的分析方法探讨

　　3 形成分析报告

　　分析报告往往是呈现给业务部门的同事看的，所以最好是以更直观的方式呈现，采用有说服力的图表，轻分析过程，着重结论和意见建议部分，最好能点出每条结论对应的相关业务部门，在指出问题的时候也尽量给出建议。

　　五 调查表以外的一些问题

　　用研项目如调查表等最好能征集到其他部门的支持，共同参与，不但利于前期调研方案的制定(可以倾听到更多的意见和建议，但是也要注意鉴别，用自己的专业知识和经验对项目进行把关，得到更多的资源，如在首页上设计轮播banner，微博转发和奖品设置以吸引更多用户提供意见，而且后期的分析结果也更易得到关注，相对更容易进行推广。

　　参考文章：

　　1 调研问卷投放时间的探讨http://ued.taobao.com/blog/2011/06/13/release_time/

　　2 影响用户响应与填答问卷的要素_邮箱投放问卷http://ued.taobao.com/blog/2011/06/28/the-factors-which-influence-participants-response/

　　3 关于网页问卷入口的小结 http://ued.taobao.com/blog/2010/09/24/summary-of-the-entrance-on-web-questionnaires/

　　4 问卷调查法的应用http://uedc.163.com/8379.html

　　5 调研问卷中多选题的分析方法探讨 (1)(2)(3)http://ued.taobao.com/blog/?s=%E5%A4%9A%E9%80%89%E9%A2%98