笨办法学分析[04]Python用户重复购买数据整理

1、需求：

假设有一个用户产品购买记录名单，我们想整理出用户购买订单的前一个订单的信息，形成表格。示例如下：

用户购买记录，已按user_id和oder_time排序

期望得到的结果

如图所示，实际上就是将1001订单的信息增加几列放到1002后面。
字段解释：
user_id：用户id
order_id：订单号
oder_time：购买时间
product_type：商品类型
amount：商品金额
buy_times：第几次购买
pre后缀：表示前一个订单的相关信息

2、思路和解决方法1：

思路：
以原始思维的角度，实现最终效果有以下步骤：
1、选取每一个用户的所有记录
2、对用户购买次数排序，产生新列buy_times
3、对每一条购买记录进行整理，如果是该用户的第一条记录，则pre列为空；如果非第一条记录，则在pre列增加前一条数据记录
4、合并整理好的数据
5、输出结果

Python3代码：

%python 3
import pandas as pd

#思路1
#读取数据
ini_df=pd.read_excel('file:///D:/Python/170818购买产品前后关系.xlsx',
                     sheetname='模拟数据')
#获取不重复的user_id，以便进行遍历
dist_id=ini_df['user_id'].drop_duplicates()
#直接提取大于1和等于1次的用户
freq=ini_df['user_id'].value_counts().reset_index()
onetime_user=freq[freq['user_id']==1]['index']
multtime_user=freq[freq['user_id']>1]['index']
#循环处理用户第二个及以上订单
#定义最终数据
final_data=pd.DataFrame()
for user_id in multtime_user:
    #筛选user_id对应的订单信息
    mid_data=ini_df[ini_df['user_id']==user_id]
    print(user_id)
    #删除原索引以方便后期对索引进行操作
    mid_data=mid_data.reset_index(drop=True)
    for i in range(len(mid_data)-1):
        #获取当前订单信息
        each_data_a=mid_data.iloc[[i]].reset_index(drop=True)
        #获取前一个订单信息
        each_data_b=mid_data.iloc[[i+1]].reset_index(drop=True)
        #将前一个订单信息合并到当前订单中
        each_data=pd.merge(each_data_a,each_data_b,left_index=True,right_index=True,suffixes=('_pre',''))
        #将新的数据添加到最终数据中
        final_data=final_data.append(each_data)
#筛选用户第一个订单，并进行数据合并
first_order=ini_df.drop_duplicates('user_id')
final_data=final_data.append(first_order)
#对数据增加购买次数和对列排序
#重设index后才能进行分组排序
final_data.reset_index(drop=True,inplace=True)
final_data['buy_times']=final_data['order_time'].groupby(final_data['user_id']).rank()
#整理结果，去掉不需要的列，并对列排序
final_data=final_data[['user_id', 'buy_times', 'order_id', 'order_time', 'product_type','amount', 
                        'order_id_pre', 'order_time_pre', 'product_type_pre', 'amount_pre']]
#对行排序，恢复初始数据绣工
final_data.sort_values(by=['user_id','order_time'],inplace=True)
final_data.reset_index(drop=True,inplace=True)
#存储数据
final_data.to_csv('结果.csv')

预览一下结果，好像没什么不对

2、思路和解决方法2：

上述方法很符合人的基本思维，快速思考出结果，但是程序繁琐，运行效率很低。
仔细观察数据结构，其实我们发现对每一个用户，只需要对其购买的第n+1个产品，后面加上第n个产品的信息就可以了。
于是，可以利用pandas的DataFrame的特性，复制相同的一个DataFrame，使用merge方法，将两个DataFrame合并即可。合并的连接方式，即通过user_id相等，left.buy_times=right.buy_times-1。

Python3代码：

%python 3
import pandas as pd

#思路2
#读取数据
ini_df=pd.read_excel('file:///D:/Python/170818购买产品前后关系.xlsx',
                     sheetname='模拟数据')
#添加每个用户的购买次数列
ini_df['buy_times']=ini_df['order_time'].groupby(ini_df['user_id']).rank()
#创建一个相同的辅助数据
assit_df=ini_df
assit_df['buy_times2']=assit_df['buy_times']+1
#合并数据
rebuy_df=pd.merge(ini_df,assit_df,left_on=['user_id','buy_times'],right_on=['user_id','buy_times2'],
                  how='left',suffixes=('','_pre'))
#筛选需要的列
rebuy_df=rebuy_df[['user_id', 'buy_times', 'order_id', 'order_time', 'product_type','amount', 
                        'order_id_pre', 'order_time_pre', 'product_type_pre', 'amount_pre']]
#存储数据
rebuy_df.to_csv('结果2.csv')

再看结果，貌似也没什么不对

以上两种处理方法，在80万条数据的处理中，第一种方法跑了一天没跑出来，而第二种几分钟之内就出了结果。所以，处理问题时，思路相当重要。

3、思路和解决方法3：

实际上，有了思路2就会发现，解决问题的工具也显得并不那么重要。既然数据已经排好了序，观察可以见pre列数据总滞后于原始数据一行。因此，在Excel中，我们首先使用公式计算出购买次数（buy_times）；然后复制数据的第一行到倒数第二行，粘贴到pre列的第二行；最后筛选出buy_times=1，清除pre列的数据即得到最终结果。

数据资料附件：https://pan.baidu.com/s/1qXH9iQK 密码: dbup