CDNOW 用户消费数据情况分析(python)(入门案例)

import numpy as np
import pandas as pd
from pandas import DataFrame,Series
import matplotlib as mpl
import matplotlib.pyplot as plt

第一部分：数据类型处理

• 数据加载
  • 字段含义：
    • user_id:用户ID
    • order_dt:购买日期
    • order_product:购买产品的数量
    • order_amount:购买金额
• 观察数据
  • 查看数据的数据类型
  • 数据中是否存储在缺失值
  • 将order_dt转换成时间类型
  • 查看数据的统计描述
    • 计算所有用户购买商品的平均数量
    • 计算所有用户购买商品的平均花费
  • 在源数据中添加一列表示月份:astype(‘datetime64[M]’)

df = pd.read_csv(’./CDNOW_master.txt’,header=None,sep=’\s+’,names=[‘用户ID’,‘购买日期’,‘购买产品的数量’,‘购买金额’])
df

df.info()

df[‘购买日期’] = pd.to_datetime(df[‘购买日期’],format=’%Y%m%d’)

df

df.isnull().any(axis=0)

df.describe()

• 计算所有用户购买商品的平均数量

• 计算所有用户购买商品的平均花费

•  2.410040       35.893648
  

• 在源数据中添加一列表示月份:astype(‘datetime64[M]’)

• 先取出数据的月份
  df[‘购买日期’].astype(‘datetime64[M]’)

df[‘month’]=df[‘购买日期’].astype(‘datetime64[M]’)

df.head()

第二部分：按月数据分析

• 用户每月花费的总金额
  • 绘制曲线图展示
• 所有用户每月的产品购买量
• 所有用户每月的消费总次数
• 统计每月的消费人数

df.groupby(‘month’)[‘购买金额’].sum()

plt.rcParams[‘font.sans-serif’] = [‘Simhei’] # 解决显示中文乱码问题
mpl.style.use(‘ggplot’)
fig = plt.figure(figsize=(8,5))
df.groupby(‘month’)[‘购买金额’].sum().plot()
plt.xlabel(‘日期’)
plt.ylabel(‘金额’)
plt.title(‘用户每月花费金额曲线图’)

• 所有用户每月的产品购买量
  df.groupby(‘month’)[‘购买产品的数量’].sum()

plt.rcParams[‘font.sans-serif’] = [‘Simhei’]
mpl.style.use(‘ggplot’)
fig = plt.figure(figsize=(8,5))
df.groupby(‘month’)[‘购买产品的数量’].sum().plot()
plt.xlabel(‘日期’)
plt.ylabel(‘数量’)
plt.title(‘用户每月购买产品曲线图’)

• 所有用户每月的消费总次数
  df.groupby(‘month’)[‘用户ID’].count()

• unique()是以 数组形式（numpy.ndarray）返回列的所有唯一值（特征的所有唯一值）

• nunique() Return number of unique elements in the object.即返回的是唯一值的个数

• 统计每月的消费人数
  df.groupby(‘month’)[‘用户ID’].nunique()

第三部分：用户个体消费数据分析

• 用户消费总金额和消费总次数的统计描述
• 用户消费金额和消费产品数量的散点图
• 各个用户消费总金额的直方分布图(消费金额在1000之内的分布)
• 各个用户消费的总数量的直方分布图(消费商品的数量在100次之内的分布)

df

• 用户消费总金额
  df.groupby(‘用户ID’)[‘购买金额’].sum()

• 用户消费总次数
  df.groupby(by=‘用户ID’)[‘购买日期’].count()

• 用户消费金额和消费产品数量的散点图
  sd = df.groupby(by=‘用户ID’).sum()
  sd

plt.rcParams[‘font.sans-serif’]=[‘Simhei’]
mpl.style.use(‘ggplot’)
fig = plt.figure(figsize=(8,5))
plt.scatter(sd[‘购买产品的数量’],sd[‘购买金额’])
plt.xlabel(‘产品数量’)
plt.ylabel(‘金额’)
plt.title(‘用户消费金额和消费产品数量的散点图’)

• 各个用户消费总金额的直方分布图(消费金额在1000之内的分布)
  df.groupby(by=‘用户ID’).sum().query(‘购买金额<=1000’)

mpl.style.use(‘ggplot’)
fig = plt.figure(figsize=(8,5))
df.groupby(by=‘用户ID’).sum().query(‘购买金额<=1000’)[‘购买金额’].hist()
plt.xlabel(‘金额’)
plt.ylabel(‘数量’)
plt.title(‘各个用户消费总金额的直方分布图’)

• 各个用户消费的总数量的直方分布图(消费商品的数量在100次之内的分布)
  df.groupby(by=‘用户ID’).sum().query(‘购买产品的数量<=100’)

mpl.style.use(‘ggplot’)
fig =plt.figure(figsize=(8,5))
df.groupby(by=‘用户ID’).sum().query(‘购买产品的数量<=100’)[‘购买产品的数量’].hist()
plt.xlabel(‘购买产品数量’)
plt.ylabel(‘数量’)
plt.title(‘各个用户消费的总数量的直方分布图’)

第四部分：用户消费行为分析

• 用户第一次消费的月份分布，和人数统计
  • 绘制线形图
• 用户最后一次消费的时间分布，和人数统计
  • 绘制线形图
• 新老客户的占比
  • 消费一次为新用户
  • 消费多次为老用户
    • 分析出每一个用户的第一个消费和最后一次消费的时间
      • agg([‘func1’,‘func2’]):对分组后的结果进行指定聚合
    • 分析出新老客户的消费比例
• 用户分层
  • 分析得出每个用户的总购买量和总消费金额and最近一次消费的时间的表格rfm
  • RFM模型设计
    • R表示客户最近一次交易时间的间隔。
      • /np.timedelta64(1,‘D’)：去除days
    • F表示客户购买商品的总数量,F值越大，表示客户交易越频繁，反之则表示客户交易不够活跃。
    • M表示客户交易的金额。M值越大，表示客户价值越高，反之则表示客户价值越低。
    • 将R，F，M作用到rfm表中
  • 根据价值分层，将用户分为：
    • 重要价值客户
    • 重要保持客户
    • 重要挽留客户
    • 重要发展客户
    • 一般价值客户
    • 一般保持客户
    • 一般挽留客户
    • 一般发展客户
      • 使用已有的分层模型即可rfm_func

df.head()

• 用户第一次消费的月份分布，和人数统计

• 用户第一次消费的月份
  df.groupby(by=‘用户ID’)[‘month’].min()

• 人数统计
  df.groupby(by=‘用户ID’)[‘month’].min().value_counts()

mpl.style.use(‘ggplot’)
fig = plt.figure(figsize=(8,5))
df.groupby(by=‘用户ID’)[‘month’].min().value_counts().plot()
plt.xlabel(‘日期’)
plt.ylabel(‘数量’)
plt.title(‘用户第一次消费的月份分布人数统计图’)

• 用户最后一次消费的时间分布，和人数统计

• 绘制线形图
  mpl.style.use(‘ggplot’)
  fig =plt.figure(figsize=(8,5))
  df.groupby(by=‘用户ID’)[‘month’].max()
  df.groupby(by=‘用户ID’)[‘month’].max().value_counts().plot()
  plt.xlabel(‘日期’)
  plt.ylabel(‘人数’)
  plt.title(‘用户最后一次消费的时间分布人数统计图’)

• 新老客户的占比

• 消费一次为新用户

• 消费多次为老用户

• 分析出每一个用户的第一个消费和最后一次消费的时间

• agg([‘func1’,‘func2’]):对分组后的结果进行指定聚合

• 分析出新老客户的消费比例

• 先求用户的第一个消费和最后一次消费的时间，时间相同的为新用户，反之老用户
  user_old = df.groupby(‘用户ID’)[‘购买日期’].agg([‘min’,‘max’])
  user_old

(user_old[‘min’]==user_old[‘max’]).value_counts()

• 新老用户占比为 12054/11516

fig =plt.figure(figsize=(8,5))
labels =[‘新用户’,‘老用户’]
size = [12054,11516]
explode=(0.1,0)
plt.pie(size,labels=labels,explode=explode,autopct=’%0.1f%%’,shadow=False,startangle=50)
plt.title(“新老客户的占比”)
plt.axis(‘equal’)

• 分析得出每个用户的总购买量和总消费金额and最近一次消费的时间的表格rfm
  rfm = df.pivot_table(index=‘用户ID’,aggfunc={‘购买产品的数量’:‘sum’,‘购买金额’:‘sum’,‘购买日期’:‘max’})
  rfm

#R表示客户最近一次交易时间的间隔

• 暂定当前的日期为本数据源最后一次用户消费时间
  df[‘购买日期’].max()

• 当前时间减去用户最后一次消费时间为时间间隔
  df[‘购买日期’].max()-df.groupby(by=‘用户ID’)[‘购买日期’].max()

• R表示客户最近一次交易时间的间隔。/np.timedelta64(1,‘D’)：去除days
  rfm[‘R’]=(rfm[‘购买日期’].max()-rfm.groupby(by=‘用户ID’)[‘购买日期’].max())/np.timedelta64(1,‘D’)
  rfm

rfm.drop(labels=‘购买日期’,axis=1,inplace=True)

rfm

rfm.columns=[‘F’,‘M’,‘R’]
rfm.head()

def rfm_func(x):
#存储存储的是三个字符串形式的0或者1
level = x.map(lambda x :‘1’ if x >= 0 else ‘0’)
label = level.R + level.F + level.M
d = {
‘111’:‘重要价值客户’,
‘011’:‘重要保持客户’,
‘101’:‘重要挽留客户’,
‘001’:‘重要发展客户’,
‘110’:‘一般价值客户’,
‘010’:‘一般保持客户’,
‘100’:‘一般挽留客户’,
‘000’:‘一般发展客户’
}
result = d[label]
return result
rfm[‘cost’]=rfm.apply(lambda x: x-x.mean()).apply(rfm_func,axis=1)

rfm.head()

第五部分：用户的生命周期

• 将用户划分为活跃用户和其他用户
  • 统计每个用户每个月的消费次数
  • 统计每个用户每个月是否消费，消费记录为1否则记录为0
    • 知识点：DataFrame的apply和applymap的区别
      • applymap:返回df
      • 将函数做用于DataFrame中的所有元素(elements)
      • apply:返回Series
      • apply()将一个函数作用于DataFrame中的每个行或者列
  • 将用户按照每一个月份分成：
    • unreg:观望用户（前两月没买，第三个月才第一次买,则用户前两个月为观望用户）
    • unactive:首月购买后，后序月份没有购买则在没有购买的月份中该用户的为非活跃用户
    • new:当前月就进行首次购买的用户在当前月为新用户
    • active:连续月份购买的用户在这些月中为活跃用户
    • return:购买之后间隔n月再次购买的第一个月份为该月份的回头客

df.head()

• 统计每个用户每个月的消费次数
  user_spend = df.pivot_table(index=‘用户ID’,values=‘购买日期’,aggfunc=‘count’,columns=‘month’,fill_value=0)
  user_spend

• 统计每个用户每个月是否消费，消费记录为1否则记录为0
  new_user_spend = user_spend.applymap(lambda x : 1 if x >=1 else 0)
  new_user_spend

• 将用户按照每一个月份分成：

• unreg:观望用户（前两月没买，第三个月才第一次买,则用户前两个月为观望用户）

• unactive:首月购买后，后序月份没有购买则在没有购买的月份中该用户的为非活跃用户

• new:当前月就进行首次购买的用户在当前月为新用户

• active:连续月份购买的用户在这些月中为活跃用户

• return:购买之后间隔n月再次购买的第一个月份为该月份的回头客

#将new_user_spend中的原始数据0和1修改为new，unactive…,返回新的df叫做df_purchase_new
#固定算法
def active_status(data):
status = []#某个用户每一个月的活跃度
for i in range(18):

    #若本月没有消费
    if data[i] == 0:
        if len(status) > 0:
            if status[i-1] == 'unreg':
                status.append('unreg')
            else:
                status.append('unactive')
        else:
            status.append('unreg')
                
    #若本月消费
    else:
        if len(status) == 0:
            status.append('new')
        else:
            if status[i-1] == 'unactive':
                status.append('return')
            elif status[i-1] == 'unreg':
                status.append('new')
            else:
                status.append('active')
return status

last_user_spend = new_user_spend.apply(active_status,axis = 1)
last_user_spend.head()

user_cost = DataFrame(data=last_user_spend.values.tolist(),index=new_user_spend.index,columns=new_user_spend.columns)
user_cost

• 每月【不同活跃】用户的计数
• 转置进行最终结果的查看

user_cost.apply(lambda x : pd.value_counts(x)).fillna(0)

user_cost.apply(lambda x : pd.value_counts(x)).fillna(0).T