数据分析实战-User Behavior From Taobao-天池
一 分析指标和模型
指标
分析数据集中包含的流量指标——PV和UV。
需要注意的是，PV和UV在一定程度上可以看作是虚荣指标。在《精益数据分析》中提到：
除非商业模式直接与PV挂钩（即展示广告），则更应该统计访问的人数
对于UV只能显示多少人访问了页面，但却不能显示这些人在页面做了什么？为什么停留？是否离开？
模型
AARRR
AARRR分别是Acquisition, Activation, Retenion, Revenue, Refer这五个单词的缩写，代表用户获取、激活、留存、变现和自传播。
RFM模型
RFM模型属于客户关系管理分析模式的一种，用来衡量客户价值和创新能力。该模型通过一个客户的近期交易金额（Recency），交易总体频率（Frequency）和交易金额（Monetary）三个指标将客户价值状况分析8种。
二 数据分析
数据分析步骤：
- 提出问题
- 理解数据
- 数据清洗
- 模型构建
- 数据可视化
0 数据导入
解压后的数据有3.4G，这样基本就告别EXCEL了。所以可以加载到SQL里面观察一下。
先在SQL里面建立一个表用来放数据，字段名设置好。不要使用Navicat直接导入，太慢了。可以使用使用LOAD DATA INFILE。在新版的Sql里面，一般会提示secure_file_priv的权限问题。通过show variables like ‘%secure%’，可以看到secure_file_priv的状态，如果为null，则意味着不允许SQL写入和写出。
关于改权限的方式，网上有很多教程，可以参考。我说一下我碰到的坑。目前我使用的SQL是8.0.16解压版。网上有些教程说，可以改C:\ProgramData\MySQL下面的my.ini文件。但这个版本在C盘下没有这个文件。那么需要改的就是安装目录下的配置文件。在[mysqld]下增加secure_file_priv=’'语句。这个一个大坑是：安装目录下的配置文件名必须为my.ini，如果为my-default.ini则无效。之后重启MySQL服务即可。
通过下面语句将数据文件添加到之前建立的表。
教训：为了提高LOAD DATA的速度，不要在设计表时建立任何索引。
USE 数据库名称;
LOAD DATA INFILE ‘文件名称’
INTO TABLE 表名
FIELDS TERMINATED BY ‘,’ – csv文件
1 提出问题
问题如下：
- 分析数据集包含的常见流量指标PV和UV
- 根据AARRR模型，分析淘宝用户个流程的转化
- 以时间为维度，分析淘宝用户在一周和一周内某一天的行为特点
- 根据RFM模型对用户进行划分，发现重要价值用户
2 理解数据
UserBehavior是阿里巴巴提供的一个淘宝用户行为数据集，用于隐式反馈推荐问题的研究。
下载地址：戳这里
本数据集包含了2017年11月25日至2017年12月3日之间，有行为的约一百万随机用户的所有行为（行为包括点击、购买、加购、喜欢）。数据集的组织形式和MovieLens-20M类似，即数据集的每一行表示一条用户行为，由用户ID、商品ID、商品类目ID、行为类型和时间戳组成，并以逗号分隔。
每列详细情况：
| 列名称 | 说明 |
|---|---|
| 用户ID | 整数类型，序列化后的用户ID |
| 商品ID | 整数类型，序列化后的商品ID |
| 商品类目ID | 整数类型，序列化后的商品所属类目ID |
| 行为类型 | 字符串，枚举类型，包括(‘pv’, ‘buy’, ‘cart’, ‘fav’) |
| 时间戳 | 行为发生的时间戳 |
注意到，用户行为类型共有四种，它们分别是
| 行为类型 | 说明 |
|---|---|
| pv | 商品详情页pv，等价于点击 |
| buy | 商品购买 |
| cart | 将商品加入购物车 |
| fav | 收藏商品 |
关于数据集大小的一些说明如下
| 维度 | 数量 |
|---|---|
| 用户数量 | 987,994 |
| 商品数量 | 4,162,024 |
| 商品类目数量 | 9,439 |
| 所有行为数量 | 100,150,807 |
在MySQl中新建表格—tb2017，具体如下：
| 字段名 | 类型 | 主键 |
|---|---|---|
| UserID | int | True |
| ItemID | int True | |
| CategoryID | int | False |
| BehaviorType | var | False |
| TimeStamps | int | True |
同时，因为需要对BehaviorType字段进行搜索，所以为改字段建立一般索引。
3 数据清洗
数据选择
五个字段全部有效，选取全部字段。
去重和子集
这个数据集共有100,150,807条记录，这个数据量就告别excel了。但在导入的过程中，我们发现了重复记录，所以只能使用pandas来处理了。对于过于大的数据，我们可以考虑分块读取，通过pd.read_csv(iterator=True)开启迭代读取，通过get_chunk()读取数据。
在最后的连接过程中，还是出现了MemoryError的错误。。我的内存是8G，只好含泪修改虚拟内存了（通过实验发现，最大虚拟内存开到10G就不会出现MemoryError）。
我们定义了UseID，ItemID和TimeStamps字段为主键，因此以这三列为基准在python中去重。
该数据集中，第五列TimeStamps为时间，采用的是Unixtime。通过发现，时间记录有错误，即有部分记录不在给定的时间范围内。通过自定义函数获取正确的时间范围并筛选。
由于数据集过于庞大，所以我们抽取了大约20, 000, 000条记录用于下一步分析。
Python代码如下。
import pandas as pd
import time
reader = pd.read_csv('UserBehavior.csv', iterator=True)
loop = True
chunk_size = 100000 #chunk_size
chunks = []
while loop:
try:
chunk = reader.get_chunk(chunk_size)
chunks.append(chunk)
except:
loop = False
print('Iteration is stopped!')
df = pd.concat(chunks, ignore_index=True)
# 对df列命名
cols = ['UserID', 'ItemID', 'CatogoryID', 'BehaviorType', 'TimeStamps']
df.columns = cols
# 针对主键去重
df2 = df.drop_duplicates(subset=['UserID', 'ItemID', 'TimeStamps'])
# 获取unixtime
def get_unixtime(timeStr):
formatStr = "%Y-%m-%d %H:%M:%S"
tmObject = time.strptime(timeStr, formatStr)
tmStamp = time.mktime(tmObject)
return int(