JData数据处理及高潜用户购买意向预测

竞赛概述:

本次大赛以京东商城真实的用户、商品和行为数据(脱敏后)为基础,参赛队伍需要通过数据挖掘的技术和机器学习的算法,构建用户购买商品的预测模型,输出高潜用户和目标商品的匹配结果,为精准营销提供高质量的目标群体。同时,希望参赛队伍能通过本次比赛,挖掘数据背后潜在的意义,为电商用户提供更简单、快捷、省心的购物体验。

数据介绍:

符号定义:

S:提供的商品全集;

P:候选的商品子集(JData_Product.csv),P是S的子集;

U:用户集合;

A:用户对S的行为数据集合;

C:S的评价数据。 

训练数据部分:

提供2016-02-01到2016-04-15日用户集合U中的用户,对商品集合S中部分商品的行为、评价、用户数据;提供部分候选商品的数据P。 选手从数据中自行组成特征和数据格式,自由组合训练测试数据比例。

预测数据部分:

2016-04-16到2016-04-20用户是否下单P中的商品,每个用户只会下单一个商品;抽取部分下单用户数据,A榜使用50%的测试数据来计算分数;B榜使用另外50%的数据计算分数(计算准确率时剔除用户提交结果中user_Id与A榜的交集部分)。

1、用户数据

user_id 用户ID 脱敏
age 年龄段 -1表示为知
sex 性别 0表示男 1表示女 2表示保密
user_lv_cd 用户等级 有顺序的级别枚举,越高级别数字越大
user_rg_tm 用户注册日期 粒度到天

2、商品数据

sku_id 商品编号 脱敏
a1 属性1 枚举 ,-1表示为知
a2 属性2 枚举 ,-1表示为知
a3 属性3 枚举 ,-1表示为知
cate 品类ID 脱敏
brand 品牌ID 脱敏

3、评价数据

dt 截止到时间 粒度到天
sku_id 商品编号 脱敏
comment_num 累计评论数分段

0表示无评论,1表示有一条评论

2表示有2-10条评论

3表示有11-50条评论

4表示大于50条评论

has_bad_comment 是否有差评 0表示无 ,1表示有
bad_comment_rate 差评率 查评论占总评论数的比重

4、行为数据 

user_id 用户编号 脱敏
sku_id 商品编号 脱敏
time  行为时间  
model_id 点击模块编号,如果是点击 脱敏
type

1.浏览(值浏览商品详情页);

2.加入购物车;

3.购物车删除;

4.下单;

5.关注;

6.点击

 
cate 品类ID 脱敏
brand 品牌ID 脱敏

任务描述:

参赛者需要使用京东多个品类下商品的历史销售数据,构建算法模型,预测用户在未来5天内,对某个目标品类下商品的购买意向。对于训练集中出现的每一个用户,参赛者的模型需要预测该用户在未来5天内是否购买目标品类下的商品以及所购买商品的SKU_ID。评测算法将针对参赛者提交的预测结果,计算加权得分。

评分标准:

参赛者提交的结果文件中包含对所有用户购买意向的预测结果。对每一个用户的预测结果包括两方面:

1、该用户2016-04-16到2016-04-20是否下单P中的商品,提交的结果文件中仅包含预测为下单的用户,预测为未下单的用户,无须在结果中出现。若预测正确,则评测算法中置label=1,不正确label=0;

2、如果下单,下单的sku_id (只需提交一个sku_id),若sku_id预测正确,则评测算法中置pred=1,不正确pred=0。 对于参赛者提交的结果文件,按如下公式计算得分:

Score=0.4*F11 + 0.6*F12

此处的F1值定义为:

F11=6*Recall*Precise/(5*Recall+Precise)

F12=5*Recall*Precise/(2*Recall+3*Precise)

其中,Precise为准确率,Recall为召回率.

F11是label=1或0的F1值,F12是pred=1或0的F1值.

数据清洗:

比赛的题目是高潜用户的购买意向的预测,从机器学习的角度来讲,可以认为这是一个二分类的任务。那么就是要构建正负样本. 由于拿到的是原始数据,里面存在很多噪声,因而第一步先要对数据清洗,

比如说: 去掉只有购买记录的用户(没有可用的历史浏览等记录来预测用户将来的购买意向)

去掉浏览量很大而购买量很少的用户(惰性用户或爬虫用户)

去掉最后5(7)天没有记录(交互)的商品和用户

......

为了能够进行上述清洗,在此首先构造了简单的用户(user)行为特征和商品(item)行为行为特征,对应于两张表user_table和item_table

user_table特征包括:

user_id(用户id),age(年龄),sex(性别),

user_lv_cd(用户级别),browse_num(浏览数),

addcart_num(加购数),delcart_num(删购数),

buy_num(购买数),favor_num(收藏数),

click_num(点击数),buy_addcart_ratio(购买加购转化率), buy_browse_ratio(购买浏览转化率),

buy_click_ratio(购买点击转化率), buy_favor_ratio(购买收藏转化率)

item_table特征包括:

sku_id(商品id),attr1,attr2,

attr3,cate,brand,browse_num,

addcart_num,delcart_num,

buy_num,favor_num,click_num,

buy_addcart_ratio,buy_browse_ratio,

buy_click_ratio,buy_favor_ratio,

comment_num(评论数),

has_bad_comment(是否有差评),

bad_comment_rate(差评率) 

探索高潜用户的行为:

比赛的题目是高潜用户购买意向预测, 那么理解清楚什么是高潜用户对于数据分析,特征抽取,以及之后的建立模型有着至关重要的作用. 简单来讲,作为训练集的高潜用户应该具有以下特征:

必须有购买行为

对一个商品购买和其他交互行为(浏览,点击,收藏等)时间差应该多于一天

因为根据赛题,我们需要预测未来5天的购买情况,那么如果用户对某商品在同一天完成所有的交互行为(包括购买),

无法从这种交易中指导未来的预测.

特征工程:

用户相关特征:

主要根据用户数据集,对用户原本的年龄、性别、用户等级,采用独热编码。

def convert_age(age_str):
    if age_str == u'-1':
        return 0
    elif age_str == u'15岁以下':
        return 1
    elif age_str == u'16-25岁':
        return 2
    elif age_str == u'26-35岁':
        return 3
    elif age_str == u'36-45岁':
        return 4
    elif age_str == u'46-55岁':
        return 5
    elif age_str == u'56岁以上':
        return 6
    else:
        return -1

        user = pd.read_csv(user_path, encoding='gbk')
        user['age'] = user['age'].map(convert_age)
        age_df = pd.get_dummies(user["age"], prefix="age")
        sex_df = pd.get_dummies(user["sex"], prefix="sex")
        user_lv_df = pd.get_dummies(user["user_lv_cd"], prefix="user_lv_cd")
        user = pd.concat([user['user_id'], age_df, sex_df, user_lv_df], axis=1)

商品相关特征:

根据商品数据集和评论数据集,对商品属性特征a1、a2、a3,和评论数量comment_num,进行独热编码


        product = pd.read_csv(product_path)
        attr1_df = pd.get_dummies(product["a1"], prefix="a1")
        attr2_df = pd.get_dummies(product["a2"], prefix="a2")
        attr3_df = pd.get_dummies(product["a3"], prefix="a3")
        product = pd.concat([product[['sku_id', 'cate', 'brand']], attr1_df, attr2_df, attr3_df], axis=1)
       comments = comments[(comments.dt >= comment_date_begin) & (comments.dt < comment_date_end)]
        df = pd.get_dummies(comments['comment_num'], prefix='comment_num')
        comments = pd.concat([comments, df], axis=1) # type: pd.DataFrame
        comments = comments[['sku_id', 'has_bad_comment', 'bad_comment_rate', 'comment_num_1', 'comment_num_2', 'comment_num_3', 'comment_num_4']]

提取商品在某段时间内的浏览购买转化率,加入购物车购买转化率,收藏购买转化率,点击购买转化率,可展现该商品在近期的人气与热门程度,方便预测该商品是否为用户可能购买的高潜商品。

        actions = get_actions(start_date, end_date)
        df = pd.get_dummies(actions['type'], prefix='action')
        actions = pd.concat([actions['sku_id'], df], axis=1)
        actions = actions.groupby(['sku_id'], as_index=False).sum()
        actions['product_action_1_ratio'] = actions['action_4'] / actions['action_1']
        actions['product_action_2_ratio'] = actions['action_4'] / actions['action_2']
        actions['product_action_3_ratio'] = actions['action_4'] / actions['action_3']
        actions['product_action_5_ratio'] = actions['action_4'] / actions['action_5']
        actions['product_action_6_ratio'] = actions['action_4'] / actions['action_6']

用户行为相关特征:

提取从起始日期start_date到截止日期end_date内的行为数据集,对用户行为类型type做one-hot编码,然后使用聚合函数groupby,对user_id,sku_id进行聚合分组,对组内的其他特征进行相加,即可统计出在此期间用户对商品的各种行为类型的累计交互次数。

这个函数方便后面采用划窗方式,多次提取不同时间段的用户行为累计特征。


        actions = actions[(actions.time >= start_date) & (actions.time < end_date)]
        actions = actions[['user_id', 'sku_id', 'type']]
        df = pd.get_dummies(actions['type'], prefix='%s-%s-action' % (start_date, end_date))
        actions = pd.concat([actions, df], axis=1)  # type: pd.DataFrame
        actions = actions.groupby(['user_id', 'sku_id'], as_index=False).sum()

提取按时间衰减的累计行为特征,使用匿名函数lambda提取出每条行为数据发生时间与截止日期的相隔天数,然后对相隔天数取反,作为对数函数的指数。这样若发生交互行为的数据离要预测的日期离得越远,那么它对预测所占的权重指数就越小。 

        actions = actions[(actions.time >= start_date) & (actions.time < end_date)]
        df = pd.get_dummies(actions['type'], prefix='action')
        actions = pd.concat([actions, df], axis=1) # type: pd.DataFrame
        #近期行为按时间衰减
        actions['weights'] = actions['time'].map(lambda x: datetime.strptime(end_date, '%Y-%m-%d') - datetime.strptime(x, '%Y-%m-%d %H:%M:%S'))
        #actions['weights'] = time.strptime(end_date, '%Y-%m-%d') - actions['datetime']
        actions['weights'] = actions['weights'].map(lambda x: math.exp(-x.days))
        actions['action_1'] = actions['action_1'] * actions['weights']
        actions['action_2'] = actions['action_2'] * actions['weights']
        actions['action_3'] = actions['action_3'] * actions['weights']
        actions['action_4'] = actions['action_4'] * actions['weights']
        actions['action_5'] = actions['action_5'] * actions['weights']
        actions['action_6'] = actions['action_6'] * actions['weights']
        actions = actions.groupby(['user_id', 'sku_id', 'cate', 'brand'], as_index=False).sum()

通过提取用户的点击购买转化率,加入购物车后购买转化率,以及浏览购买转换率,可以更深刻的刻画该用户是否是要寻找的高潜购买用户对象。 

        actions = get_actions(start_date, end_date)
        df = pd.get_dummies(actions['type'], prefix='action')
        actions = pd.concat([actions['user_id'], df], axis=1)
        actions = actions.groupby(['user_id'], as_index=False).sum()
        actions['user_action_1_ratio'] = actions['action_4'] / actions['action_1']
        actions['user_action_2_ratio'] = actions['action_4'] / actions['action_2']
        actions['user_action_3_ratio'] = actions['action_4'] / actions['action_3']
        actions['user_action_5_ratio'] = actions['action_4'] / actions['action_5']
        actions['user_action_6_ratio'] = actions['action_4'] / actions['action_6']


完成了特征工程部分,接下来主要就是从特征工程生成的许多特征中选出有用的特征,然后对模型参数进行调优。 使用xgboost模型对用户模型进行建模,然后由于xgboost是基于树模型的分类器,那么在建树的过程中也就自动完成了对特征的选择。

模型调优:

我们使用xgboost自带的交叉验证函数,先大约确定最优迭代次数。

param = {'eta' : 0.1, 'max_depth': 3, 'seed':27,
        'min_child_weight': 1, 'gamma': 0, 'subsample': 0.8, 'colsample_bytree': 0.8,
        'scale_pos_weight': 1,  'objective': 'binary:logistic','eval_metric':'auc'}
 
bst=xgb.cv( param, dtrain, 500,nfold=5,early_stopping_rounds=100)
bst

然后再使用sklearn的格子搜索,类似以下代码,然后更改param_grid的值,即可确定每个参数的最优值。 

param_test1 = {
    'max_depth':[1,3,5,7]
}
gsearch1 = GridSearchCV(estimator = XGBClassifier(         learning_rate =0.1, n_estimators=178, max_depth=5,
min_child_weight=1, gamma=0, subsample=0.8,             colsample_bytree=0.8,
 objective= 'binary:logistic', nthread=4,     scale_pos_weight=1, seed=27), 
 param_grid = param_test1,     scoring='roc_auc',   n_jobs=4,   iid=False,   cv=StratifiedKFold(training_data.label,n_folds=5))
gsearch1.fit(dtrain_x,training_data.label)
gsearch1.grid_scores_, gsearch1.best_params_,     gsearch1.best_score_

当确定好所有超参数时,用这些参数作为xgboost模型的参数,然后训练出预测模型,此时可以调用xgboost自带的得分函数查看各个特征的重要性,方便确定哪些特征比较重要,哪些特征被选做分裂节点的次数少。然后可以试着重新选择特征集,不断重复上面的调优步骤,直到结果比较符合期望。 

feature_score = bst.get_score()
feature_score = sorted(feature_score.items(), key=lambda x:x[1],reverse=True)
feature_score

编程过程中遇到的其他问题和解决方法:

1、MemoryError 

因为数据集总共有5个多G,最初没做内存方面的考虑,运行代码出现了“MemoryError”的问题,用以下方法成功解决:      数据量非常大时,比如一份银行一个月的流水账单,可能有高达几千万的record。对于一般性能的计算机,有或者是读入到特殊的数据结构中,内存的存储可能就非常吃力了。考虑到使用数据的实际情况,并不需要将所有的数据提取出内存。当然读入数据库是件比较明智的做法。若不用数据库呢?可将大文件拆分成小块按块读入后,这样可减少内存的存储与计算资源。Python里面可用chunker做分块处理。

     简易使用方法:

chunker = pd.read_csv(PATH_LOAD, chunksize = CHUNK_SIZE)

读取需要的列:

columns = ("date_time",  "user_id")
chunks_train = pd.read_csv(filename, usecols = columns, chunksize = 100000)

分块读取chunk中的每一行: 

for rawPiece in chunker_rawData:
        current_chunk_size = len(rawPiece.index)   #rawPiece 是dataframe
        for i in range(current_chunk_size ):
            timeFlag = timeShape(rawPiece.ix[i])   #获取第i行的数据

2、特征变量的表示      特征变量的选择和提取对于最后的目标函数(预测)非常关键,一开始用时间衰减来做效果很差,改用统计方法,把数值特征(如年龄、评论数等)表示成哑变量,并处理成onehot编码,预测结果准确率提升了20%。 

你可能感兴趣的:(JData,JData数据处理,高潜用户购买意向预测)