你们如何保证在线问卷调查(www.lediaocha.com)的数据质量,在质量控制方面都做了些什么?
在线问卷调查质量控制的18项准则
说起来这个话题,在我从业的这将近10年里,几乎遇到每个新客户都要讲一讲。当回头去看的时候,我们发现,这些年,我们也是在质量控制方面做了很多努力,技巧和标准都越来越充实。有一些是标准化的,有一些是要根据不同的项目来分别对待的。
以至于到现在,在每个项目的开始,除了一些基础通用的质量控制方法,我们还会针对这个项目着重的使用一些控制方法。
我们为日常的质量控制所开发了20条原则,这些也是贯穿我们项目执行中所遵循的准则:
Panel来源和身份验证阶段
1、IP与注册地址相匹配:在线问卷调查的区域性限制决定了北上广等大型城市的问卷要多于三四线小城镇。IP和地址的匹配杜绝了用户为获取更多问卷而恶意填写注册地址。
2、限制和移除多次注册(www.lediaocha.com):同一IP和设备(包括电脑和手机)只能注册一次。尤其是现在的手机设备,我们可以通过设备编号锁定账户,多个账户将被移除。
3、机器注册自动检测:这个就不多说了,安全的第一道防线。
4、支付宝实名认证,手机号码唯一,绑定微信的身份验证:通过支付宝,微信招募,使用支付宝实名和微信唯一的第三方方式来保证账户的唯一性和真实性。保证每个意见都来自于真实的受访者。
5、身份证号码填写和上传身份证照片的终极验证方式。
访问阶段
6、设备唯一:无论是电脑和手机,每一台设备都可以通过cookie和设备号来限制唯一性。
7、IP检查:同一个IP只能作答一次,同时不是问卷目标城市的受访者IP限制作答问卷。适合于地域限制比较强的问卷。例如我们执行的厦门当地啤酒的项目,非厦门的IP的受访者即使是收到问卷邀请也不能进入问卷参与作答。
8、人口属性的匹配:注册时填写的人口属性和问卷作答时的信息双重校验。不一致则被弹出。
9、答题时长的检测(www.lediaocha.com):答题时间过短很可能造成不认真看题。而有些例如概念测试,广告测试的项目答题时间过长,很可能已经忘记前面的测试内容。
10、直线题检测和打分题的拆分:针对问卷中打分题较多的情况,在编程的过程中就实现了随机拆分,每页只为最多5分选项打分。对于所有分数一直的直线结果进行检测,提示重新选择或跳出。
11、陷阱题的设置:形势很多可以是常识性的题目检测被访者是否认真看题,也可以是逻辑的检验。例如选择购买过汽车但汽车品牌和型号对不上的,则很可能不是真实的车主。
12、固定时间内部作答统一主题的问卷:根据客户的需要,排除同类的问卷。
13、巧妙的甄别题设置:例如洋酒项目的甄别题目,我们一般不是问是否喝过洋酒。而是问,是否饮用过以下哪些产品。选中洋酒的才可以继续作答。
14、标注重点:不同的字体颜色来凸显题目,让题目更容易识别和理解。尤其适用于大量重复类的询问某一个产品的多个方面的问卷。
数据清理结算
15、开放题的检查和清理(www.lediaocha.com):尤其是开放题比较多的问卷,懒癌患者不在少数,开放题越多不仅中途退出越多,甚至可能出现所答非所问和复制粘贴的情况。一方面我们建议减少开放题另一方面进行数据的清理。
16、逻辑检查:针对没有办法在程序中控制的逻辑错误,我们在数据处理中一并废卷。
17、数据格式检查:在编程阶段我们就会针对日期,手机号码等特定的数据格式来规定受访者的填答,数据清理阶段再次对于难以控制的数据进行二次检查。
最后重中之重
18、物质和非物质奖励并存,合适的人群和问卷给予合适的积分奖励:在日常的panel维护中我们给予会员每个问卷合理的积分奖励,例如针对高端车主的奖励会比普通网购的问卷奖励高。同时给会员物质奖励以外的诸如会员徽章,特权等非物质激励。