丑话说在前头:都说了是进阶教程,试图解答一些使用NPS可能会遇到的问题。 所以...在阅读这篇文章之前,希望你能够拥有一些关于NPS的基本概念,这里推荐阿里巴巴U一点的文章:《NPS的理论、使用简介与评价》,对NPS的起源和应用做了非常全面的介绍。以下为本篇正文:
分数设置:11分,10分和5分?
被强行放在开始的小结:量表尺度的变化对NPS的结果影响并不明显,重要的是保持专一。
NPS本质上仍然是一个测量“推荐度”的问题。在NPS形成风潮以前,推荐度也同样是多数满意度问卷中必不可少的题目。当然,在那之前很少有人会用到从0~10这样11点的非主流度量尺度就是了。所以...11点评分、10点评分甚至是5点评分测出来的推荐度有什么差异吗?
理论上来说,可选择性越高,最后所得出的结果就会越精准。所以11点评分在理论上就是比尺度较短的评分会更好。NPS的提出者Fred Reichheld在最初使用“0”为最低分的时候只是担心用户回答问卷时误把1当做最高等级来看而已(为了不认真答题的用户真是操碎了心...)。Fred甚至以某租车公司使用5点评分测量推荐度为例来说明NPS其实可以很随便的,大家看着用就行...。
Jeff Sauro我们很熟悉了,除了是个非常厉害的用户研究专家外,还是个非常较真的人。所以只听别人说他是不信的,最近他就采用不同的评分尺度测量了一批用户对国外主流互联网产品的推荐度。然后有了这些有趣的发现分享给我们:
a) 评价尺度之间的差异并不大:11点评分与10点和5点评分之间的平均差异(绝对值)均在4%左右。
b) 采用10点和5点量表显著降低了“贬损者”的数量(10点问卷中1~6,5点问卷中1~3被划分为贬损者);
c) 在10点量表中,推荐者(9~10)占比有微弱的增长;而在5点量表中,推荐者(5)占比则有显著的下降;
NPS的另类计算--平均值
继续强行总结:NPS的不稳定是天性,在进行比较时使用平均值可能更具意义。
在和同行不多的交流中,我也听到很多次关于NPS的吐槽:真TMD很不稳啊!然而在上一段里,我们就说到测量尺度的可选择项越多就能提供越高的准确性(虽然是在用户能准确区分的情况下)。所以为啥NPS的稳定性这么差?
原因多了去了...从问卷投放渠道的变化、推送用户的选择、敏捷迭代的产品、用户没睡醒的下午等等很多因素都可能导致NPS的波动。Jeff Sauro(没错,又是他!)曾经还科普过:NPS的计算方法(将用户分为推荐者、被动者和贬损者)在一定程度上将原本的11点量表变成了3点量表,就很直接的增加了NPS的易变性。
作为一个深谙挖坑不填XXX的人,Sauro提供了一种方法来降低对比NPS得分时由计算方法带来的噪音:平均数!仔细想想还是很有道理的诶:从2分到5分的提升是能够通过平均数表现出来的,而NPS的计算方式则将这些提升抹平了。Sauro曾经拿NPS分数和平均值做了个回归方程,发现平均值能够反映出NPS分值96%的变化趋势。
所以...下一次比较推荐度的是不是考虑下平均数?就别整那么多幺蛾子了(友情提示:推荐度的评分可能并不符合正态分布,计算平均数也有风险,要不再考虑下中位数?)。
NPS与WOMI
为了保持结构统一写的小结:增加额外的问卷问题能够大大提升NPS的实用性。
尽管NPS与公司的业务增长有着明显的关系,也经常作为评估用户忠诚和产品可用性的指标进行测量,但NPS在实用性上仍有一定缺陷:
1) 意愿≠行为,不推荐≠贬损。NPS测量出来的推荐者可能并不会为你的产品说好话,贬损者也仅仅是不愿意推荐的用户而已;
2) 好看多过实用。NPS测量的简易性也在一定程度上局限了其分数的应用,满意度的各级指标还可以回溯到产品在哪些部分做的不好,但NPS则很难回溯到具体问题。
Fred在后续的书作中提出了WOMI(口碑指数,word-of-mouth index)希望解决NPS中 “不推荐≠贬损”的问题:通过额外的题目“你有多大可能劝阻他人与这家企业发生业务往来?”来测量用户的贬损意愿,并将在这一题上给9~10分的用户分类为“真·贬损者”,WOMI=推荐者百分比-真·贬损者百分比。
而结合WOMI对于贬损者的附加问题,再加上其它几道题目将能够更加准确的评估推荐者和贬损者对公司营收的影响,提高了NPS的使用价值。
Q1. 你(没有)选择使用XX产品的主要原因是否是你的朋友/同事的推荐(贬低)?
Q2. 在过去12个月中你是否有积极地向你的朋友/同事推荐(变得)XX产品?
Q3. 主动推荐人次:在过去12个月中你向多少个朋友/同事推荐(贬低)过XX产品?
其它
竞品的使用 在最近一次UXRen的活动中,分享嘉宾指出NPS的不稳定性与用户的竞品使用存在一定的关系:竞品的使用可能无法直接反馈在本品的满意度评估中,但却会明确的反映在推荐行为上;
推荐度评估的文化差异 在NPS的实践过程中,我们都会看到很多“别人有自己喜欢的,不需要我推荐”等类似的回答。有的时候,我们将这些归结于东方文化的固有特点。但从NPS Benchmarks网站的分享来看,很多欧洲国家的用户也都是谨慎对待推荐行为的。所以,如果你的产品很国际化,那么就需要认真考虑不同用户群体间NPS的对比是否真的有意义了。