互联网时代来临前,问卷调查法是企业开展用户研究时获取用户结构化数据的主要途径和方式,也是商业决策的主要数据来源。伴随网络信息技术的发展和普及,用户应用场景的高度互联网化,用户在接触网络时的痕迹让企业获得了全新的了解和认识用户的途径和方式,拓宽了企业获取用户数据的途径。特别是在移动互联网和大数据技术的驱动下,层出不穷的互联网企业利用产品特性及后台埋点技术获取了海量的用户数据,并基于后台数据分析开展多样化的用户研究及商业决策,问卷调查法获取的用户数据被很多互联网企业忽略甚至摒弃。然而,在当前数据泛滥的大数据时代下,问卷调查法依然在获取用户数据方面有着不可替代的作用和角色。
一、问卷调查法与后台数据分析的特点及差异
问卷调查法和后台数据分析,虽然两者都是用户定量研究方式,都需要用到数据分析及统计的技能,提供和交付的都是可量化的决策依据,但两者在在互联网企业/产品发展适用阶段、研究侧重及获取信息内容、数据规模等方面各有不同,并不可相互替代。相反,二者是相辅相成并可互相融合促进的关系。
首先,问卷调查法和后台数据分析适用的企业和产品的阶段并不完全相同。
问卷调查法,在互联网企业/产品的任何阶段都可以成为有效的获取用户数据的研究方式,不受产品规模和形态的限制。特别是在企业和产品的前期,没有任何现有用户支撑的情况下,问卷调查法是企业/产品获取用户定量数据的主要方式。此外,搭建一套有价值的后台数据系统,需要开展系统的数据指标梳理及定义、根据产品特性探讨技术实现性及埋点方式、考虑后期数据的调取及可视化等,综合来看需要众多的人力和资源投入,并具有一定的周期时间,对于刚开始起步的产品或互联网企业具有一定挑战性。因此,在资源有限情况下,问卷调查法可作为后台数据分析的一个有效补充方式开展用户的定量研究。
其次,问卷调查法和后台数据获取的用户数据内容并不完全相同,数据可靠性也各有优劣。
问卷调查法主要通过封闭式问题获取用户数据的方式,获取内容信息包括用户的态度数据和行为数据,简言之,只要问卷中可合理设计问题,问卷调查法就可以获得相关数据及记录。但也正因为此,问题设计的合理性和有效性将直接影响获取数据的可靠性。此外,问卷调查法是依靠被访用户的记忆及主观意识来记录信息的,因此,记忆错误或主观意识偏差同样会影响回收数据的可靠性。在运用问卷调查法时,问卷设计及执行方式的选择变得尤为重要。在设计问题时要遵循以下几个原则:1)一般性原则,即问题具有普遍意义,非偏向性或极端化;2)逻辑性原则,包括问卷设计要有整体感,同时设计的问题应该符合被访者认知的常规逻辑;3)明确性原则,即问题应该是否清晰明确便于回答,有明确的条件或约束;4)可接受/追溯原则,即对用户而言问题是可以接受和认可的,且是有明确记忆点的;5)便于统计分析原则,即问题是方便后期进行累积、对比等统计分析的;6)效率原则,用尽量简单的问题数量获取有效的信息反馈。
后台数据通过技术埋点方式获取用户操作点击行为和路径流程,记录的是用户最终的实际行为结果,同时结合用户主动给出的个人属性信息,或有些企业根据用户属性信息、设备信息及行为信息给用户进行标签化处理,丰富用户画像数据。总体来看,这种方式获取的行为数据相对更客观。但在实际应用中,后台数据也会在各种因素干扰下,可靠性受到影响。如某些用户操作并非用户真实操作意愿,可能是误触导致的,因此如果这样的操作行为噪点未做到有效排除,将会严重影响分析结果。其次,后台数据因只能获取行为数据,对于行为背后的动机和态度(如流失用户的流失原因)只能通过分析人员的解读和推测,会造成一定的解读偏差,对用户意识形态及内在驱动的研究方面会有欠缺。
再次,问卷调查法和后台数据获取的数据规模不同。通常情况下,问卷调查法是典型的抽样调查方式,用样本特征代表总体特征。后台数据则更偏向于总体特征,可获取全部用户的行为数据。从数据规模来看,后台数据有一定优势。但伴随用户触达成本的大幅度下降及精准触达技术的提升,在一些互联网企业,问卷调查法的数据规模较传统企业大大提升,每个细分人群的样本量可达到2000-3000规模,总体样本量达到上万。当细分样本规模达到2000以上时,从统计学上来看,此时样本特征与总特特征的差异会无线接近,误差会很小,这个结论在多年的实际工作中也有得到验证。另一方面,一般情况下过亿用户量的互联网企业在进行后台数据分析时,通常也是采用抽样方式,并不会进行全量用户数据的提取,这对后台数据处理能力是非常大的挑战。从这个层面来看,二者在样本规模上的差距导致数据代表性的差距在互联网企业/产品上逐渐变小。
二、 问卷调查法与后台数据分析的融合互补
实际应用中,问卷调查法与后台数据分析会分别应用于不同阶段的用户研究中,同时,二者也会相互借力和互补,提升了用户研究在解决产品问题时的针对性和效率。基于多年的工作经验积累及行业交流所得,总结几个典型的二者融合互补的应用场景。
第一, 问卷调查法获取的小数据可作为后台数据缺失时的有效补充,辅助支撑完成用户全链路行为分析探索。对于一些刚起步的互联网企业或产品,在搭建后台数据系统时难免会有未能全部覆盖的行为/操作节点,导致进行用户行为分析时会出现断层情况。此时,可合理利用问卷调查法补足行为断点,拉通和连接用户各环节节点的行为特征。
第二, 后台数据分析可作为问卷调查法的前置性探索,快速定位问题环节和重点分析用户。在开展问卷调查前,通过分析后台行为数据发掘行为差异节点或锁定行为差异人群,在此差异节点处进行相关行为的关联性分析或对人群进行行为聚类分析,探索问卷调查的假设方向和用户,可大大提升问卷调查的效率和针对性。
第三, 后台数据分析结果可用于支撑问卷调查时的用户抽样及矫正样本结构,减少因样本回收导致的用户属性偏差。后台数据分析可帮助问卷调查锁定重点用户,为样本抽样提供用户结构支撑。此外,目前互联网企业天然有触达用户渠道和成本的优势,在问卷调查时会常用定向样本推送方式。但受限于用户响应率的影响,回收的样本结构与原本的用户结构并不匹配,因此,可用后台数据对回收样本结构进行加权矫正,有效避免样本偏差带来的结果偏差。