【A/B测试】支付平台营销策略效果分析

内容概览:


A/B测试

A/B Test简介:

简单的说,A/B测试是在同一时间段内,给多组特征相同的用户展示优化前(对照组)与优化后(实验组)的产品,通过实验组和对照组关键指标的数据分析,验证一个新的产品的交互设计,产品功能或策略,算法的效果,得出效果是否复合预期的结论。A/B测试可以科学的检验变更的好坏,是精细化运营的必备手段

A/B测试的流程

A/B测试的流程
  • 建立实验目标,收集数据并发现问题,提出变更假设:通常为了实现某一数据指标的提升,通过用户调研,竞品调研,技术调研等方法进行数据分析,归纳整理,再根据数据分析的结果提出变更假设。
  • 实验设计:主要分四步:确定检测指标,确定实验受众,确定样本量以及确定实验时长
    1)确定检测指标:围绕核心指标及流程性指标进行指标监测体系建立
    2)确定实验受众:主要关于实验展开的用户的特征的确定
    3)确定样本量:可以通过对当前版本的转化率以,预期的转化率及显著性水平的设定,获得每组实验需要的样本数量。网址可参考:https://www.eyeofcloud.com/124.html
    4)确定实验时长:通常由样本量的水平以及参与实验的人数来确定实验时长。
  • 功能开发,开始试验:将实验目的,实验假设,实验方案及流量配置等信息反馈开发完成功能优化,同时展开实验
  • 数据收集,分析评估:通过显著性假设检验,对核心指标数据进行数据分析,判断变更是否能显著性达到预期目标。如果通过则发布产品,否则重新设计实验。

显著性假设检验

  • 假设检验的基本原理:小概率事件在一次抽样中几乎不可能发生。通过正态总体分布定理,构造检验统计量,再根据显著性水平以及检验统计量的分布类型确定拒绝域及接受域,判断当假设H0成立时检验统计量的范围,来决定是否接受假设H0.
  • 零假设与备择假设:一种叫原假设,也叫零假设,用H0表示。原假设一般是统计者想要拒绝的假设。另外一种叫备择假设,用H1表示。备则假设是统计者想要接受的假设。
  • 单侧检验与双侧检验:备择假设没有特定的方向性,形式为“≠”这种检验假设称为双侧检验;备择假设带有特定的方向性 形式为">""<"的假设检验,称为单侧检验 "<"称为左侧检验 ">"称为右侧检验。
  • 弃真错误与取伪错误:
    1)弃真错误也叫第I类错误或α错误:它是指 原假设实际上是真的,但通过样本估计总体后,拒绝了原假设。这个错误的概率我们记为α。
    2)取伪错误也叫第II类错误或β错误:它是指原假设实际上假的,但通过样本估计总体后,接受了原假设。这个错误的概率我们记为β。
    3)当样本空间固定的情况下,弃真错误与取伪错误不可能同时都很小。通常我们会控制第一类错误的概率,因而H0通常会设置要拒绝的假设。
  • 显著性水平α:显著性水平是指当原假设实际上正确时,检验统计量落在拒绝域的概率,简单理解就是犯弃真错误的概率。
  • 拒绝域与接受域:通过显著性水平以及检验统计量的分布情况,可以得到相应的分位点,以分位点作为接受域与拒绝域的界限,此外临界值计入拒绝域。分位点计算网址参考:https://goodcalculators.com/z-score-calculator/
  • 假设检验的步骤:
    1)提出原假设与备择假设
    2)构造检验统计量,检验统计量可依据正态总体抽样分布定理构造检验统计量。
    3)通过显著性水平以及检验统计量确定接受域与拒绝域
    4)检验统计量的范围确认,得出拒绝H0或者接受H0
  • 检验类型与检验统计量:
    1. 单正态总体的假设检验
    1)样本总体 >30 的检验:
    样本总体 >30的单正态总体假设检验
    样本容量大于30,当总体σ未知时,根据大数定律,可将样本的方差作为总体方差,因而也服从标准正态分布。
    2)样本容量 <30 的检验:
    样本总体 <30的单正态总体假设检验
    样本容量小于30时,将样本的方差作为总体的方差,检验统计量服从t分布。
    3)总体成数的检验
    样本成数:样本中具有某一相同标志表现的单位数占样本容量的比重,记为p
    总体成数:总体中具有某一相同标志表现的单位数占全部总体单位数的比重,一般用π表示
    单正态总体样本成数检验

    2. 双正态总体的假设检验
    1)双样本总体 >30 的检验:
    样本总体 >30的双正态总体假设检验

    2)总体成数的假设检验
    当n1P1、n1(1-P1)、n2P2、n2(1-p2)都大于或等于5时,就可以称为大样本
    2.1)原假设为π1-π2 =0这种类型
    检验统计量:
    。满足Z分布,其中p为两个样本的合并成数,计算公式为

    2.2)原假设为π1-π2 =d0(d0≠0)这种类型
    检验统计量:

案例:支付宝营销策略效果分析

1. 背景:

广告收入与平台佣金是支付宝收益的重要渠道之一,提升支付宝广告的点击率不但可以获取广告费用,同时对服务产品的付费率也有很大的帮助。为了进一步提高广告的点击率,平台设计了两种营销策略进行A/B测试,通过对测试结果显著性假设检验分析确定营销策略的使用。

2. 实验目的:

分析营销策略一与策略二能否实现广告点击率提升一倍。

3. 数据来源

数据来自阿里云天池:https://tianchi.aliyun.com/dataset/dataDetail?dataId=50893

4. 数据分析

import pandas as pd
import numpy as np
import matplotlib as plt
4.1 数据导入:
# 导入数据,并设置表头
data = pd.read_csv('audience_expansion/effect_tb.csv',header = None)
data.columns = ['dt','user_id','label','dmp_id']
data = data[['user_id','label','dmp_id']]
data.head()
4.2 数据清洗
  • 观察数据
# 查看数据
data.info()
data.describe()

数据类型无需处理

user_id,label,dmp_id三列数据均相同,无空值

  • 重复值查看
# 查看是否有重复值
data[data.duplicated(keep = False)].shape

有25966条重复信息

  • 删除重复值
# 删除重复值,保留第一个值
data = data.drop_duplicates(keep = 'first')
4.3 假设检验

1. 确定样本所需容量
通过当前的广告点击率,目标广告点击率,显著性水平确定样本所需容量

# 当前广告点击率:
round(data[data['dmp_id'] == 1]['label'].mean(),3)
# 目标广告点击率
round(2 * data[data['dmp_id'] == 1]['label'].mean(),3)

当前广告点击率为:0.013,目标广告点击率为:0.025,显著性水平设定为0.05
经计算,各样本容量至少应为1400
各组样本空间为

data['dmp_id'].value_counts()

各组样本空间均大于最少样本容量
2. 各组广告点击率

# 当前广告点击率:
data[data['dmp_id'] == 1]['label'].mean()
# 策略一对照组广告点击率
data[data['dmp_id'] == 2]['label'].mean()
# 策略二对照组广告点击率
data[data['dmp_id'] == 3]['label'].mean()

当前广告点击率为:0.0126
策略一对照组广告点击率为:0.0153
策略二对照组广告点击率为:0.0262
目标广告点击率为:0.025
显然策略一未达到目标点击率,目标而达到目标点击率
通过显著性假设检验,查看策略二是否显著
3. 提出零假设与备择假设
零假设 H0:P1 >= P2
备择假设 H1:P1 < P2
4. 构造检验统计量

# 用户数
# 对照组样本量
n_p1 = len(data[data['dmp_id'] == 1])
# 策略二样本量
n_p2 = len(data[data['dmp_id'] == 3])
# 点击数
# 对照组点击数
label_p1 = len(data[(data['dmp_id'] == 1) & (data['label'] == 1)])
# 策略二点击数
label_p2 = len(data[(data['dmp_id'] == 3) & (data['label'] == 1)])
# 点击率
# 对照组点击率
rate_p1 = label_p1 / n_p1
# 策略二用户数
rate_p2 = label_p2 / n_p2
# 合并点击率:总点击数/总用户数
rate_p1p2 = (label_p1 + label_p2) / (n_p1 + n_p2)
# 检验统计量
z_p1p2 = (rate_p1 - rate_p2)/np.sqrt(rate_p1p2*(1 - rate_p1p2)*(1/n_p1 + 1/n_p2))
z_p1p2

当零假设 H0:P1 >= P2为真时,检验统计量为-59.44
5. 确定分位点
单侧检验,显著性水平取0.05,通过Z检验查表得起分为点为:1.6448536
6. 检验统计量确认
根据备择假设值,为左侧检验,有正态分布的对称性可知,分为点为:-1.6448536
当检验统计量 < 分为点时,为拒绝域,反之为接受域
显然-59.45 < -1.6448536,拒绝假设H0,备择假设P1 < P2成立

5. 结论:

综上所述,两种营销策略中,策略一为达到实验目标,策略二达到实验目标。通过对策略二显著性假设检验,策略二对广告点击率有显著提升效果,因而在两组营销策略中应选择第二组进行推广。

你可能感兴趣的:(【A/B测试】支付平台营销策略效果分析)