网页点击率AB测试实战项目

一、背景

现在有一个教育平台的初创网站，到了前期推广阶段，它的主要目的是让大家加入微信学习社群。现在需要给网站投放“广告”，刚开始给用户看到的落地页是访问课程资料，这部分内容是免费的，并且在每一块课程上都会加上微信群的二维码，并介绍网站的付费项目；现在新增了开始免费试学这个落地页，本次试验的主要任务是利用A/B测试思想，用测试24天之后拿到的数据，检测两个落地页的转化效果，分析决定是否应该使用新的页面或保留旧的页面，或者应该将测试时间延长，之后再做出决定。

二、测试实验步骤

2.1 AB测试的基本步骤

三、AB测试检验

3.1 数据处理

1. 导入数据

import numpy as np
import pandas as pd
import random
import matplotlib.pyplot as plt

df = pd.read_csv('ab_data.csv')
df.head()

2. 数据字段含义

user_id：  用户id
timestamp：用户访问页面的时间
group：    新旧落地页的分组；把新的落地页分到treatment组，把旧的落地页分到了control组
landing_page：表示落地页
converted：表示是否转化，1表示转化，0表示未转化

3.查看数据维度

df.shape 

(294478, 5)

4.查看数据信息

df.info()

5.查看缺失值

df.isnull().sum()  

6.对于treatment和 new_page，或者control和old_page会出现不一致的行，将其剔除

df.loc[(df['group'] == 'treatment') != (df['landing_page'] == 'new_page')].count()

# 去除无效数据，并将其赋值到df2中
df2 = df.loc[~((df['group'] == 'treatment') != (df['landing_page'] == 'new_page'))]
df2.count()

7.删除重复值（user_id）

# 删除重复id,保留重复项中的第一项
df2 = df2.drop_duplicates(subset=['user_id'], keep='first')  #

8.查看数据维度判断是否还有重复值

# 查看df2的维度
print(df2.shape)
# 查看df2中是否还有重复值
print(df2.user_id.nunique())

(290584, 5)
290584

3.2 计算用户转化率

# 整体转化率
df2['converted'].mean()  

0.11959708724499628

# 新页面转化率
df2[df2['landing_page'] == 'new_page']['converted'].mean()   

0.11880806551510564

# 旧页面转化率
df2[df2['landing_page'] == 'old_page']['converted'].mean()  

0.1203863045004612

# 用户收到新页面的概率
df2[df2['landing_page'] == 'new_page'].shape[0] / df2.shape[0]   

0.5000619442226688

• 整体页面转化率为：11.96%
  新页面转化率为：11.88%
  旧页面的转化率为：12.04%
  用户收到新旧页面的概率参半
• 看似使用旧页面效果更好，是本身就是如此，还是由于一些随机因素导致的呢？ 对此需要进行显著性检验：

3.3 进行假设检验

3.3.1 建立原假设和备择假设

由于目标是新页面转化率高于旧页面转化率，设计原假设和备择假设如下：
H0: P_new - P_old <= 0
H1: P_new - P_old > 0

3.3.2 构建检验统计量

# 新页面转化率
p_new = df2[df2['landing_page'] == 'new_page']['converted'].mean()
# 旧页面转化率
p_old = df2[df2['landing_page'] == 'old_page']['converted'].mean()
# 新页面数量
n_new = df2[df2['landing_page'] == 'new_page'].shape[0]
# 旧页面数量
n_old = df2[df2['landing_page'] == 'old_page'].shape[0]

# 引入SciPy库
from scipy.stats import norm
# 计算显著性检验Z值
z_score = (p_old - p_new) / np.sqrt(p_old * (1 - p_old) / n_old + p_new * (1 - p_new) / n_new)
z_score

1.3109271488301917

# 计算置信区间
norm.ppf(1-0.05)

1.6448536269514722

1- norm.cdf(z_score1) 

0.09494118879424318

3.3.3 结论

• 由于z_score=1.31小于norm.ppf(1-0.05)=1.64，落在95%的置信区间中，所以无法拒绝原假设，建议延长测试时间，继续观测情况。