python数据分析实战12_python数据分析实战---用户行为分析

相关精彩专题链接： 数据成就更好的你

整体概述

本案例的数据为小程序运营数据，以行业常见指标对用户行为进行分析，包括UV、PV、新增用户分析、漏斗流失分析、留存分析、用户价值分析、复购分析等内容。其分析框架如下图：

image.png

一、数据提取

import pandas as pd

import numpy as np

from sqlalchemy import create_engine

import datetime

import matplotlib.pyplot as plt

%matplotlib inline

plt.rcParams['font.sans-serif'] = ['SimHei']

plt.rcParams['axes.unicode_minus'] = False

#数据存储在mysql数据库中

conn=create_engine("mysql+pymysql://用户名:密码@127.0.0.1:3306/数据库名称?charset=utf8")

data=pd.read_sql("behavior",conn)

本数据集约76万条数据

image.png

二、数据处理

#1.观察数据，查看数据内容包含什么

data.head()

#2.数据去重处理

data.drop_duplicates(inplace=True)

#3.时间戳time数据处理。转化为访问网站的具体时间、月份、日期、每天几点访问

data["time1"]=data["time"].apply(lambda x:datetime.datetime.fromtimestamp(x))

data["month"]=data["time"].apply(lambda x:int(datetime.datetime.fromtimestamp(x).strftime("%Y%m")))

data["date"]=data["time"].apply(lambda x:datetime.datetime.fromtimestamp(x).strftime("%Y%m%d"))

data["hour"]=data["time1"].apply(lambda x:x.hour)

#4.销售金额计算

data["money"]=data["price"]*data["amount"]

#5.缺失值处理：观察有没有缺失值，有缺失值则对缺失值处理。本数据集没有缺失值

data.isnull().sum()

#6.观察数据有没有异常值。总共757565条记录，和时间相关的数据都正常，其他字段也无异常值

data.describe()

test2.jpg

三、用户行为分析：pv/uv

1、pv/uv 按天分析，观察其访问走势

all_puv=pd.pivot_table(data,index=["date"],values="user_id",aggfunc="count")

uv=data[["user_id","date"]].drop_duplicates()["date"].value_counts()

all_puv=all_puv.join(uv)

all_puv.columns=["pv","uv"]

all_puv["avg_pv"]=all_puv["pv"]/all_puv["uv"]

all_puv

image.png

image.png

2、pv/uv 按天分析,观察每个行为操作的点击量

pv=pd.pivot_table(data,index=["date"],columns=["behavior"],values="user_id",aggfunc="count")

pv["all"]=pv.sum(axis=1)

image.png

plt.figure(figsize=(12,5))

plt.plot(pv.index,pv["all"])

plt.plot(pv.index,pv["pv"],color="r")

plt.plot(pv.index,pv["cart"],color="b")

plt.plot(pv.index,pv["buy"],color="c")

plt.plot(pv.index,pv["fav"],color="y")

plt.xlabel("日期",fontsize=12)

plt.ylabel("pv",fontsize=12)

plt.title("用户行为pv分析",fontsize=16)

plt.legend( ["all","pv","cart","buy","fav"],loc = 'upper left',fontsize=12)

plt.show()

image.png

3.观察用户每天的访问高峰区。本数据集中，访问高峰期为晚上19点至23点

hour_pv=data["hour"].value_counts().reset_index().rename(columns={'index':'hour', 'hour':'pv'})

plt.figure(figsize=(12,3))

plt.bar(hour_pv["hour"],hour_pv["pv"])

plt.xlabel("小时",fontsize=12)

plt.ylabel("访问量pv",fontsize=12)

plt.title("用户按小时统计的访问量",fontsize=16)

plt.show()

image.png

四、获客分析

获客分析：观察每日新增用户情况。新用户的定义：第一次访问网站

new_visitor=data[["user_id","date"]].groupby("user_id").min()["date"].value_counts().reset_index()

new_visitor.columns=["date","new_visitor"]

plt.figure(figsize=(8,3))

x,y=new_visitor["date"],new_visitor["new_visitor"]

plt.bar(x, y, width=0.6)

for a, b in zip(x, y):

plt.text(a, b + 0.05, '%.0f' % b, ha='center', va='bottom', fontsize=10)

plt.xlabel("日期",fontsize=12)

plt.ylabel("新用户数",fontsize=12)

plt.title("每日新增用户数",fontsize=16)

plt.show()

image.png

五、用户留存分析

留存定义为 1月1日，新增用户200人;

次日留存：第2天，1月2日，这200人里面有100人活跃，则次日留存率为：100 / 200 = 50%

2日留存：第3天，1月3日，这200名新增用户里面有80人活跃， 第3日新增留存率为:80/200 = 40%; 以此类推

#建立n日留存率计算函数，data传入的为用户id和登录日期, start_date为起始时间(格式为：%Y%m%d)，n为n日留存,不传入start_date和n时，则计算所有留存

def cal_retention(data,start_date="20100101",n=0):

if n>0:

new_user=data[["user_id","date"]].groupby("user_id").min().reset_index()

date2=datetime.datetime.strptime(start_date,"%Y%m%d")+datetime.timedelta(n)

end_date=datetime.datetime.strftime(date2,"%Y%m%d")

start_user=set(new_user[new_user.date==start_date].user_id)

end_user=set(data[data.date==end_date].user_id)

user=start_user&end_user

return [start_date,end_date,len(start_user),len(user),round(len(user)/len(start_user),4)]

else:

new_user=data[["user_id","date"]].groupby("user_id").min().reset_index()

date_sourse=new_user.date.unique()

date_sourse.sort()

result1=[]

flag=0

for start_date in date_sourse:

start_user=set(new_user[new_user.date==start_date].user_id)

for end_date in date_sourse[flag:]:

end_user=set(data[data.date==end_date].user_id)

user=start_user&end_user

result1.append([start_date,end_date,len(start_user),len(user),round(len(user)/len(start_user),4)])

flag=flag+1

return pd.DataFrame(result1,columns=["开始日期","留存日期","新用户数","留存人数","留存率"])

#调用cal_retention函数计算留存。

#例：计算11约28日的3日留存，其返回结果为：['20191128', '20191201', 7610, 5980, 0.7858]，此数据的含义为：28号的新用户数为7610，第3日的留存用户为5980，留存率为78.58%

cal_retention(data[["user_id","date"]],"20191128",3)

#调用cal_retention函数计算留存,只传入数据集

retention=cal_retention(data[["user_id","date"]])

#留存人数展示

pd.pivot_table(retention,index=["开始日期"],columns=["留存日期"],values="留存人数",aggfunc="sum",fill_value=0)

#留存率展示

pd.pivot_table(retention,index=["开始日期"],columns=["留存日期"],values="留存率",aggfunc="sum",fill_value=0)

image.png

image.png

六、复购分析

指在单位时间段内，重复购买率=再次购买人数/总购买人数。

例如在一个月内，有100个客户成交，其中有20个是回头客，则重复购买率为20%。

此处的回头客定义为：按天去重，即一个客户一天产生多笔交易付款，则算一次购买，除非在统计周期内另外一天也有购买的客户才算是回头客。

data_buy=data[data.behavior=="buy"][["user_id","date"]].drop_duplicates()["user_id"].value_counts().reset_index()

data_buy.columns=["user_id","num"] #user_id表示用户id,num表示购买次数

#复购率计算

rebuy_rate=round(len(data_buy[data_buy.num>=2])/len(data_buy),4)

print("复购率为：",round(rebuy_rate*100,2),"%") #输出结果为：42.06 %

#购买的总人数

buy_user=len(data_buy)

#购买次数的人数分布

buy_freq=data_buy.num.value_counts().reset_index()

buy_freq.columns=[["购买次数","人数"]]

buy_freq["人数占比"]=round(buy_freq["人数"]/buy_user,4)

从以下数据可以看出，一共有6110个用户有购买行为，购买1次的人数最多，为3540，占了57.94%。本数据集的复购率为42.06 %，商家需从商品质量、价格、促销活动、物流等多方面寻找问题点，需求高复购率的突破

image.png

七、RFM模型分析

RFM模型分析前提条件：

a. 最近有过交易行为的客户，再次发生交易的可能性高高于最近没有交易行为的客户；

b.交易频率较高的客户比交易频率较低的客户，更有可能再次发生交易行为；

c.过去所有交易金额较多的客户，比交易金额较少的客户，更有消费积极性。

#取数规则：最近一次消费的时间取最大，消费频次根据计数统计，消费金额求平均值统计

RFM_date=data[data.behavior=="buy"][["user_id","date"]].groupby("user_id").max()

RFM_F=data[data.behavior=="buy"][["user_id","behavior"]].groupby("user_id").count()

RFM_M=data[data.behavior=="buy"][["user_id","money"]].groupby("user_id").mean()

RFM=RFM_date.join(RFM_F).join(RFM_M)

#用户价值分层(RFM模型):模型计算的日期为 2019-12-05

end_date=datetime.datetime.strptime("20191205","%Y%m%d")

#时间间隔天数计算

RFM["days"]=RFM["date"].apply(lambda x:(end_date-datetime.datetime.strptime(x,"%Y%m%d")).days)

RFM=RFM[["days","behavior","money"]]

RFM.columns=["间隔天数","消费频次","消费金额"]

image.png

模型打分，这里采用5分制，规则如下:

image.png

根据打分规则对数据进行处理

RFM["R_S"]=RFM["间隔天数"].apply(recency)

RFM["F_S"]=RFM["消费频次"].apply(frequency)

RFM["M_S"]=RFM["消费金额"].apply(monetary)

RFM["RFM"]=RFM.apply(lambda x: int(x.R_S*100+x.F_S*10+x.M_S),axis=1)

RFM.head()

每一个RFM代码都对应着一小组客户，开展市场营销活动的时候可以从中挑选出若干组进行。例如 ：RFM代码为443的用户，其消费时间间隔比较短，消费频次和购买力都很高，可做为重点客户重点维护。计算结果如下：

image.png

八、漏斗分析---转化路径

转化路径定义：pv点击 ---cart放入购物车 ---buy购买

#导入绘制漏斗图的工具包

from pyecharts.charts import Funnel

from pyecharts import options as opts

#转化分析，转化路径为：pv点击 ---cart放入购物车 ---buy购买

data_behavior=data[data.behavior!="fav"]["behavior"].value_counts().reset_index().rename(columns={"index":"环节","behavior":"人数"})

#单一环节的转化率

temp1 = np.array(data_behavior['人数'][1:])

temp2 = np.array(data_behavior['人数'][0:-1])

single_convs = temp1 / temp2

single_convs = list(single_convs)

single_convs.insert(0,1)

data_behavior['单一环节转化率'] = single_convs

#总体转化率

flag=data_behavior['人数'][0]

data_behavior['总体转化率'] = data_behavior['人数']/flag

#总体转化漏斗

attrs=[a+": "+str(round(b,2))+"%" for a,b in zip(data_behavior['环节'],data_behavior['总体转化率']* 100)]

attr_value=[round(a,2) for a in data_behavior['总体转化率']* 100]

funnel = Funnel()

funnel.add("商品", [list(z) for z in zip(attrs, attr_value)],label_opts=opts.LabelOpts(position="inside"))

funnel.set_global_opts(title_opts=opts.TitleOpts(title="总体转化漏斗分析"))

funnel.render_notebook()

image.png

九、商品销售分析

1.商品top分析----销售次数最多的商品，取前10

#商品top分析----销售次数最多的商品，取前10

buy_top=data[data.behavior=="buy"]["goods_id"].value_counts().head(10)

from pyecharts.charts import Bar

from pyecharts import options as opts

bar = Bar()

bar.add_xaxis(buy_top.index.tolist())

bar.add_yaxis("销售排名前10",buy_top.values.tolist(),color="green")

bar.set_global_opts(title_opts=opts.TitleOpts(title="销售排名前10"))

#bar.render()

bar.render_notebook()

image.png

2.商品top分析----浏览次数最多的商品，取前10

#商品top分析----浏览次数最多的商品，取前10

pv_top=data[data.behavior=="pv"]["goods_id"].value_counts().head(10)

from pyecharts.charts import Bar

from pyecharts import options as opts

bar = Bar()

bar.add_xaxis(pv_top.index.tolist())

bar.add_yaxis("浏览排名前10",pv_top.values.tolist(),color="green")

bar.set_global_opts(title_opts=opts.TitleOpts(title="浏览排名前10"))

#bar.render()

bar.render_notebook()

image.png

3.商品top分析----收藏次数最多的商品，取前10

#商品top分析----收藏次数最多的商品，取前10

fav_top=data[data.behavior=="fav"]["goods_id"].value_counts().head(10)

from pyecharts.charts import Bar

from pyecharts import options as opts

bar = Bar()

bar.add_xaxis(buy_top.index.tolist())

bar.add_yaxis("销售排名前10",buy_top.values.tolist(),color="green")

bar.set_global_opts(title_opts=opts.TitleOpts(title="销售排名前10"))

#bar.render()

bar.render_notebook()

image.png

4.城市购买力排名

#城市购买力排名

city_top=data[data.behavior=="buy"][["addr","money"]].groupby("addr").sum().sort_values("money",ascending=False)

from pyecharts.charts import Bar

from pyecharts import options as opts

bar = Bar()

bar.add_xaxis(city_top.index.tolist())

bar.add_yaxis("城市购买力",[round(a,2) for a in city_top.money])

#bar.render()

bar.render_notebook()

image.png

5.不同性别的消费贡献情况

#不同性别的消费贡献情况 sex中：0代表女性，1代表男性

sex_top=data[data.behavior=="buy"][["sex","money"]].groupby("sex").sum()

from pyecharts.charts import Pie

from pyecharts import options as opts

base_pie = Pie()

base_pie.add("", [list(z) for z in zip(['女','男'], [round(a,2) for a in city_top.money])])

base_pie.set_global_opts(title_opts=opts.TitleOpts(title="不同性别的购买力"))

base_pie.set_series_opts(label_opts=opts.LabelOpts(formatter="{b}: {c} ({d}%)")) #自定义显示格式(b:name, c:value, d:百分比)

base_pie.render_notebook()

image.png

6.商品类目销售情况分析

cat_top=data[data.behavior=="buy"]["cat"].value_counts().head(10)

from pyecharts.charts import Bar

from pyecharts import options as opts

bar = Bar()

bar.add_xaxis(cat_top.index.tolist())

bar.add_yaxis("商品类目销售排行前10",cat_top.values.tolist())

bar.render_notebook()

image.png