数据分析项目实战1——淘宝用户购买行为分析（天池）

一、分析背景、数据来源、数据解释

https://tianchi.aliyun.com/dataset/649
由于userbehavior数据集的数据量较大，本次分析使用Navicat将前10万条数据导入MySQL。

二、业务问题及分析思路

三、数据清洗

3.1 子集选择

选取10万条数据导入MySQL构成本次分析的数据集。

3.2 列名重命名

给导入的数据各字段命名
用户id:userid
商品ID：itemid
商品类目id:categoryid
行为类型：behavior
时间戳：timestamps

3.3 删除重复值

在导入数据时，将userid、itemid和timestamps设为主键，确保数据没有重复值。

3.4 缺失值处理

select * from userbehavior
where userid is null or itemid is null
or categoryid is null or behavior is null
or timestamps is null;

3.5 一致化处理

将时间戳变为可读形式，并在原表中添加datetimes、dates和times两列用于存放时间戳、日期和时刻数据。

alter table userbehavior add datetimes varchar(255);
update userbehavior
set datetimes = from_unixtime(timestamps);
alter table userbehavior add dates varchar(255);
update userbehavior
set dates = from_unixtime(timestamps,'%Y-%m-%d');
alter table userbehavior add times varchar(255);
update userbehavior
set times = from_unixtime(timestamps,'%H:%i:%s');

3.6 异常值处理

查询日期的最大、最小值，判断是否存在不属于2017.11.25至2017.12.3之间的异常数据，结果如下。

select max(dates),min(dates)
from userbehavior;

删除异常值，并验证结果。

delete from userbehavior where dates < '2017-11-25';
select max(dates),min(dates) from userbehavior;

四、分析过程

4.1 用户流失情况分析

4.1.1 用户行为转化情况

通过对用户进行统计并可视化，可以发现整个购买流程的用户转化率很低。具体表现为点击商品详情页的占比将近90%，但将商品加入购物车和收藏的仅为8.2%，且最终下单购买的行为仅占2.1%。

4.1.2 用户流失情况分析

业务问题1： 用户在不同购物流程下的流失情况

业务问题1：用户在不同购物流程下的流失情况如何？
首先，根据用户的4种行为，对用户的购买流程进行归纳，得到以下4种情况。

接着，创建一个用户行为视图，用于查询各行为的数量。

--用户行为视图
create view userb as 
select userid,itemid,
	sum(case when behavior='PV' then 1 else 0 end ) as 'PV',
	sum(case when behavior = 'cart' then 1 else 0 end) as 'cart',
  sum(case when behavior = 'fav' then 1 else 0 end) as 'fav',
  sum(case when behavior = 'buy' then 1 else 0 end) as 'buy'
from userbehavior
group by userid,itemid;

#点击次数
select count(PV) 点击次数 from userb;

（1）情况1：用户点击后购买

#情况1：用户点击后购买
select count(userid) 点击后购买 from userb 
where pv>0 and (cart=0 and fav=0) and buy>0;

（2）情况2 ：点击后流失

#情况1：用户点击后流失
select count(userid) 点击后流失 from userb 
where pv>0 and (cart=0 and fav=0) and buy=0;

（3）情况3：点击、加入购物车或收藏后购买

#情况3：点击、加入购物车或收藏后购买
select count(userid) 点击加购后或收藏后购买
from userb 
where pv>0 and (cart>0 or fav>0) and buy>0;

#点击后加入购物车或收藏
select count(userid) 点击加购后或收藏后
from userb 
where pv>0 and (cart>0 or fav>0);

（4）情况4：点击、加入购物车或收藏后流失

#情况4：点击、加入购物车或收藏后流失
select count(userid) 点击加购后或收藏后流失
from userb 
where pv>0 and (cart>0 or fav>0) and buy=0;

最后，根据统计结果总结各流程转化率和流失率，如下图所示。

由上图可知，点击后直接购买的转化率仅为1.36%，用户流失率为87.49%；点击后先加入购物车或收藏后再购买的转化率为9.51%，用户流失率为90.49%。

结论：

• 两种购物流程的用户转化率都很低，对应用户流失情况严重。
• 相比之下，流程2的购买转化率更高，因此可以考虑在今后的营销中，引导用户在点击浏览商品详情后加入购物车或收藏，从而在一定程度上提升购买转化率，提高商品销量。

4.2 用户流失的原因

业务问题2：用户流失的原因是什么？

	淘宝推送是根据用户日常的浏览行为数据，比如日常搜索的关键词，收藏和加购的商品，已经关注的店铺，还有购买记录等，综合判断来给用户进行推送可能感兴趣的商品。
	如果淘宝的推送机制合理，那么推送的商品和用户需求的商品将会呈现较高的匹配度，从而用户最终的购买转化率也相应较高，从而推送的商品销量变高，变成热销商品；反之则较低，即表明用户流失严重。
	本次分析使用假设检验分析方法对用户流失原因进行分析。分析思路如下图所示：

收集证据：首先，统计用户数量、商品数量、商品类别数和用户行为类型数，如下图所示。

#统计用户数量、商品数量、商品类别数和用户行为类型数
select count(distinct userid) 用户数,
			 count(distinct itemid) 商品数量,
			 count(distinct categoryid) 商品类别数,
			 count(distinct behavior) 用户行为类型数
from userbehavior;

上述统计结果表明，该数据集包含的商品类别比较丰富，商品数量充足。具体表现为该数据集包含983个用户，64440件商品，3128个类别，4种用户行为。
接下来，分析用户寻找的商品和淘宝推送的商品。

1）用户寻找的商品

业务问题3：用户在寻找哪些商品？

在这里，由于商品种类较多，主要查询点击次数排名前10的商品类别，查询结果如下：

#查询点击次数排名前10的商品类别
select categoryid 商品类别,count(1) 点击次数
from userbehavior
where behavior='pv'
group by categoryid 
order by count(1) desc
limit 10;

从上图可以看出，商品类别4756105、3607361和4145813的用户点击浏览量最高。进一步选择这商品类别4756105、3607361，查询二级商品的点击次数top5，并统计查询结果。

从上图可以看出，商品类别4756105中，点击量最高的商品id是812879、3006793和3769601；商品类别3607361中，点击量最高的商品id是2331370、138964和3845720，且点击量均在30次左右。

由以上分析结果可知，用户的需求主要集中在商品类别4756105中，商品id为812879、3006793和3769601的商品和商品类别3607361中，商品id为2331370、138964和3845720的商品上。

2）热销商品

业务问题4：哪些商品热销？

查询购买量前10的商品

将点击量前10的商品类别和购买量前10的商品类别放到一起，如下图所示：

从统计结果来看，除商品类别4145813外，点击量TOP10的商品类别和购买量TOP10的商品类别基本不匹配。进一步统计点击量前三的商品类别：4756105，3607361，4145813的实际购买率。

定义：购买率=购买量/点击次数。统计结果如下图所示：

可以看出点，击量前三的商品类别4756105、3607361和4145813的购买率分别是0.84%、0.89%和1.01%，购买率都非常低。

结论：假设成立。

通过以上分析，可知淘宝推送的机制不合理。推送的商品和用户的需求不匹配，导致用户在浏览过程中没有找到想要的产品，从而用户的实际购买的转化率很低，即用户流失严重。

4.3 用户行为与时间的关系

业务问题5：用户行为分布随时间有什么变化？

4.3.1 用户行为在不同日期下的情况

–主要关注用户访问和购买行为与日期的关系
1.用户日均访问情况

#日访问量
select dates 日期,count(behavior) 日访问量
from userbehavior
where behavior='pv'
group by dates
order by dates;

#日访客数
select dates 日期,count(distinct userid) 日访客数
from userbehavior
where behavior='pv'
group by dates
order by dates;

从上图结果来看，从11月25日到12月1日，日访问量和日访客数基本稳定，12月2日和3日访问量和访客数都有较大幅度上升，这与双12活动促销预热有很大关系。
（2）用户日均购买情况

#日访问量
select dates 日期,count(behavior) 日访问量
from userbehavior
where behavior='pv'
group by dates
order by dates;

从上图可以发现，商品日均销量分布基本与日均访问量的分布相似，销量高峰同样在12月2日和3日。

结论：

1.日均访问量、访客数、商品销量在11月25日到12 月3日之间的变化情况相似。
2.12月2日，3日是周末，又是双十二活动的初期预热，所以访问量、访客数、商品销量均更高。
3.商家可以在周末推出更多活动吸引用户，提高商品销量。

4.3.2 用户行为在一天中不同时段的情况

select left(times,2) 小时,
		sum(case when behavior='PV' then 1 else 0 end)  as 访问,
		sum(case when behavior='CART' then 1 else 0 end)  as 加购物车,
		sum(case when behavior='fav' then 1 else 0 end)  as 收藏,
		sum(case when behavior='buy' then 1 else 0 end)  as 购买
from userbehavior
group by left(times,2)
order by left(times,2);

从上图的统计结果可以得出以下结论：

1.用户各种行为随时间的变化趋势整体一致：4种行为在1点到6点处于低谷期，6点之后逐步上升，上午9~10点达到一天中的第一个小高峰，之后略有下降。
2.中午12点之后，各种行为又呈现小幅上涨趋势，于13~15点之前迎来第二个小高峰，推测是用户进入午休时间以及上班刚开始，用户有一定时间逛淘宝。
3.18点之后，大部分用户已经下班，各种行为开始大幅上升，于19~22点间达到一天中的最高峰，其中用户访问量急速上涨，于21点达到峰值，22点之后开始回落。

4.4 用户价值分类

业务问题6：使用RFM模型分析用户价值

通过使用RFM模型，将用户按价值进行分类，从而针对不同客户群体制定精细化营销策略
模型定义和含义：

• R（Recency):表示最近一次消费时间间隔，距离现在的时间；上一次消费离的越近，R越小，用户价值越高。
• F（Frequency):消费频率，一段时间内消费了多少次，F越大，价值越高。
• M（Montary):消费金额，一段时间内的消费金额，M越大，价值越高。
  在本次分析中，RFM的具体定义为：

R：用户最近一次的购买时间到12月3日的时间差表示用户最近一次消费间隔
F：用户在11月25日到12月3日之间购买的次数表示用户消费频率
M：本次数据集未包含相关字段，故不考虑

4.4.1 建立打分规则

（1）用户分类规则表

（2）用户分类步骤
1.计算R、F、M值；
2.给R、F、M按价值打分
3.计算价值的平均值，得出R、F、M的高低，高于平均值打分为“高”，反之则为“低”。
4.对比用户分类规则表，得出用户分类。

4.4.2 本次分析的打分标准

首先统计各用户的购买情况

#统计消费频率F
create view f as 
select userid,count(behavior) 消费次数
from userbehavior
where behavior='buy'
group by userid 
order by count(behavior) desc;

#用户最近一次购买的时间
create view r as 
select userid,max(dates) 最近一次购买时间
from userbehavior
where behavior='buy'
group by userid;

根据查询结果指定打分标准，如下图所示：

4.4.3 用户分类过程

（1）计算R、F值并打分

--计算R值
select userid,最近一次购买时间,
(case when datediff('2017-12-03',最近一次购买时间)<=2 then 4
      when datediff('2017-12-03',最近一次购买时间)<=4 then 3
      when datediff('2017-12-03',最近一次购买时间)<=6 then 2
      when datediff('2017-12-03',最近一次购买时间)<=8 then 1
      end) as R值
from r;

#计算F值
select userid,消费次数,
	case when 消费次数>=19 then '4'
			when 消费次数 between 13 and 18 then '3'
			when 消费次数 between 7 and 12 then '2'
			when 消费次数 between 1 and 6 then '1'
	end F值
from f;

（2）计算R、F的均值

#计算R、F的均值
select avg(r值) r平均值 from r值;
select round(avg(f值),4) f平均值 from f值;

(3)根据价值高低得出用户分类

# RFM视图
create view RFM视图 as 
select r.*,f.f值,
(case when r.r值 > 3.2846 and f.f值 > 1.1148 then '重要价值用户'
      when r.r值 > 3.2846 and f.f值 < 1.1148 then '重要发展用户'
      when r.r值 < 3.2846 and f.f值 > 1.1148 then '重要保持用户'
      when r.r值 < 3.2846 and f.f值 < 1.1148 then '重要挽留用户'
  end) as 用户分类
from r值 as r,f值 as f
where r.userid = f.userid;

（4）统计各类用户的数量

#统计各类用户的数量
select 用户分类,count(UserId) 用户数量
from RFM视图
group by 用户分类;

从上述统计结果可以得出以下结论：

重要发展用户和重要挽留用户占比最高，分别是50.67%和39.94%。
对于重要发展用户，其消费频率较低，针对该类用户应该注意提高其消费频率。
对于重要挽留用户，其消费一次的时间间隔长，消费频率低。这种用户，即将流失，要主动联系用户，调查清楚哪里出了问题，并想办法挽回。
重要价值用户的占比较少为7.45%，但该类用户消费时间间隔短，消费频率高，要提供vip服务。
重要保持用户的占比最少仅为1.94%，这类用户最近消费距离现在时间较远，但是消费频率高。这种用户，是一段时间没来的忠实客户，应该主动和他保持联系，提高复购率。

五、结论与建议

（1）业务问题1&2 用户在不同购物流程下的转化情况和客户流失原因

1）结论

1.淘宝用户在两种流程下的购买转化率都很低，主要是点击详情页后流失的情况；相比加入购物车或收藏后再购买，这种流程的购买转化率较高。
2.从统计结果上来看，淘宝商品种类比较丰富，商品数量充足，不存在商品种类太少而不满足用户需求的情况；经过假设检验发现，淘宝推荐的商品和用户寻找或感兴趣的商品不匹配，导致大量用户停留于点击浏览环节。

2）建议

1.建议通过发放优惠券、红包等形式，引导用户在点击浏览后将商品加入购物车或收藏，来提高购买转化率；
2.建议优化搜索和筛选功能，提高推送的针对性，让用户能够快速找到目标商品；

（2）业务问题3&4 用户在寻找哪些商品，哪些商品比较热销

1）结论

用户搜索最多的商品类别是：

类别4756105，该类下搜索最多的商品是812879、3006793、3769601；
类别3607361，该类下搜索最多的商品是2331370、138964和3845720。

2）建议

1.建议淘宝优化商品推送机制，优先推送点击量排名靠前的商品。
2.点击数高的商品，也要引导商家做出促销活动，吸引流量变现。
3.对于购买比较多的类目下的排名靠前的商品，也可询问商家是否要做更多的推广，增加销售量。

（3）业务问题5：用户行为随时间的变化

整体来看，用户在周末的活跃度和浏览购买量远远高于工作日；而在一天中，晚间19-22点最活跃。因此，可以在周末举行促销活动，发放优惠福利；在白天可以进行促销活动宣传，在晚上开启活动，从而吸引用户，提高活跃度，提升商品销量。

（4）业务问题6：用户价值分类

通过RFM模型对用户进行分类，得到了重要价值用户、重要发展用户、重要保持用户和重要挽留用户等四大类。其中重要发展用户占比超过一半，重要保持用户占比最少。建议对四类用户制定不同的营销策略，实现精细化运营，具体策略可概括为：

• 重要价值用户：该类用户消费时间间隔短，消费频率高，要提供vip服务，做好个性化推荐的同时，也要将热销高价值商品推送给到此类客户；
• 重要发展用户：其消费时间间隔短，但消费频率较低，应做好私域维护，多去直接推送商品给客户刺激其购买欲，来提高其消费的活跃度；
• 重要保持用户：这类用户最近消费距离现在时间较远，但是消费频率高。这种用户，是一段时间没来的忠实客户，应该通过发放优惠券和红包，以及个性化推荐广告要到客户常用社交平台上，主动和他建立联系，提高复购率。
• 重要挽留用户：其消费一次的时间间隔长，消费频率低。这种用户，即将流失，要主动联系用户，调查清楚哪里出了问题，并想办法挽回。

参考来源：https://zhuanlan.zhihu.com/p/143075054，基此复现，结合自己的理解。