如何评估改版后的效果?--【产品猫小嘿的产品观】

网传产品经理有三宝:山寨、改版、再推倒。但实际工作种,每次改版都会遭遇研发、UED、运营的责难。产品宝宝们心里苦/(ㄒoㄒ)/~~(工作需要先复盘迭代这部分,APP设计法则稍后会继续完善)

那如何评估改版后有木有效果?运营数据,科学的运营数据。五步评估改版后的效果

1【确定关键数据指标】不同产品关键数据指标不同

电商产品:收入=访问量(流量)*转化率*客单价

游戏型产品:收入=用户活跃数*付费率(付费用户的比例)*ARPPU(平均每个付费用户的收入)

媒体型产品:PV和UV

社区型产品:活跃度和留存率

(目前涉及到这些稍加整理,欢迎大家继续补充O(∩_∩)O~)

2【假设检验】又称显著性检验。是数理统计学中根据一定假设条件由样本推断总体的一种方法。原理就是先对总体特征做出某种假设,然后根据样本统计进行推理,看假设是被接受还是拒绝。H0为原假设,需要去验证,一般首先假设H0是正确的,然后根据显著性水平选择是接受还是拒绝。H1备择假设,一般是原假设的否命题。当H0被拒绝时,默认接受H1

3【卡方检验】X二次方检验,用来验证两个总体间某个比率之间是否存在显著性差异。卡方检验适用于比率型的数据,如游戏型产品中的付费率。假设一定时间内,比如改版前后各30天,取30天数据的均值,改版前月活跃用户数10000,月付费用户数1000,月付费率 a1=1000/10000=10%

改版后月活跃用户数20000,月付费用户数3000,月付费率 a2=3000/20000=15%

我们假设H0:a1=a2,改版前后月付费率相等。H1:a1不等于a2,改版后月付费率不相等。

将两组数据(10000,1000)和(20000,3000)分别输入一个卡方检验模板,如下图得出结论改版前后的月付费率在95%的置信水平上存在显著性差异,说明改版后月付费率效果明显


4【T检验】最常见的假设检验类型,主要验证总体均值间是否存在显著性差异。T检验属于参数假设检验,所以它适用于数值型的数据。另外还要保证总体符合正态分布

如以游戏型产品月ARPPU为例,改版前10天数据分别为23.6、28.9、24.1、21.7、27.4、28.6、29、24.2、26.3、22.1

                                                 改版后10天数据分别为29.1、24.4、30.9、28.8、25.3、29.8、26、30.2、31.7、27.6.

将两组数据输入EXCEL,使用excel的数据分析工具,选择T检验:平均值的成对二样本分析。输出检验结果:单尾P值=0.014901。由于0.014901<0.05,即单尾P值<0.05,存在显著性差异,所以改版后月ARPPU效果显著。

5【总体结果评估】会有三种结果,以游戏型产品为例,月收入=月活跃用户数*月付费率*月ARPPU

a三个关键指标改版后效果都显著,则总体改版效果显著

b三个关键指标改版后效果都不显著,则总体改版效果不显著

c三个关键指标显著不显著都存在的情况,依据月收入增加或减少来判断改版效果

这个部分复盘,涉及到很多统计学的知识,感觉有些吃力,看来知识还是需要多多拓展的。。。

你可能感兴趣的:(如何评估改版后的效果?--【产品猫小嘿的产品观】)