题目背景
本次大赛提供了讯飞AI营销云的海量广告投放数据，参赛选手通过人工智能技术构建预测模型预估用户的广告点击概率，即给定广告点击相关的广告、媒体、用户、上下文内容等信息的条件下预测广告点击概率。希望通过本次大赛挖掘AI营销算法领域的顶尖人才，共同推动AI营销的技术革新。
基本数据
| 字段 | 解释 |
|---|---|
| instance_id | 样本id |
| click | 是否点击 |
广告信息
| 字段 | 解释 |
|---|---|
| adid | 广告id |
| advert_id | 广告主id |
| orderid | 订单id |
| advert_industry_inner | 广告主行业 |
| advert_name | 广告主名称 |
| campaign_id | 活动id |
| creative_id | 创意id |
| creative_type | 创意类型 |
| creative_tp_dnf | 样式定向id |
| creative_has_deeplink | 响应素材是否有deeplink(Boolean) |
| creative_is_jump | 是否是落页跳转(Boolean) |
| creative_is_download | 是否是落页下载(Boolean) |
| creative_is_js | 是否是js素材(Boolean) |
| creative_is_voicead | 是否是语音广告(Boolean) |
| creative_width | 创意宽 |
| creative_height | 创意高 |
媒体信息
| 字段 | 解释 |
|---|---|
| app_cate_id | app分类 |
| f_channel | 一级频道 |
| app_id | 媒体id |
| inner_slot_id | 媒体广告位 |
| app_paid | app是否付费 |
用户信息
| 字段 | 解释 |
|---|---|
| user_tags | 用户标签信息，以逗号分隔 |
上下文信息
| 字段 | 解释 |
|---|---|
| city | 城市 |
| carrier | 运营商 |
| time | 时间戳 |
| province | 省份 |
| nnt | 联网类型 |
| devtype | 设备类型 |
| os_name | 操作系统名称 |
| osv | 操作系统版本 |
| os | 操作系统 |
| make | 品牌(例如:apple) |
| model | 机型(例如:"iphone") |
初探数据
让我们先来看看数据，在data下面round1_iflyad_train.txt和round1_iflyad_test_feature.txt分别放着官方给的训练集和测试集
import numpy as np
import pandas as pd
data_train_org = pd.read_csv("data/round1_iflyad_train.txt",sep='\t');
data_test_org = pd.read_csv("data/round1_iflyad_test_feature.txt",sep='\t');
data_all = pd.concat([data_train_org, data_test_org],ignore_index=True)
data_all.info()
RangeIndex: 1041674 entries, 0 to 1041673
Data columns (total 35 columns):
adid 1041674 non-null int64
advert_id 1041674 non-null int64
advert_industry_inner 1041674 non-null object
advert_name 1041674 non-null object
app_cate_id 1039376 non-null float64
app_id 1039376 non-null float64
app_paid 1041674 non-null bool
campaign_id 1041674 non-null int64
carrier 1041674 non-null int64
city 1041674 non-null int64
click 1001650 non-null float64
creative_has_deeplink 1041674 non-null bool
creative_height 1041674 non-null int64
creative_id 1041674 non-null int64
creative_is_download 1041674 non-null bool
creative_is_js 1041674 non-null bool
creative_is_jump 1041674 non-null bool
creative_is_voicead 1041674 non-null bool
creative_tp_dnf 1041674 non-null int64
creative_type 1041674 non-null int64
creative_width 1041674 non-null int64
devtype 1041674 non-null int64
f_channel 79777 non-null object
inner_slot_id 1041674 non-null object
instance_id 1041674 non-null int64
make 938631 non-null object
model 1033881 non-null object
nnt 1041674 non-null int64
orderid 1041674 non-null int64
os 1041674 non-null int64
os_name 1041674 non-null object
osv 1033463 non-null object
province 1041674 non-null int64
time 1041674 non-null int64
user_tags 718672 non-null object
dtypes: bool(6), float64(3), int64(17), object(9)
memory usage: 236.4+ MB
可以看到部分字段有缺失:
- f_channel一级频道只有79777
- user_tags用户标签信息718672
这两个字段缺失较多
特征选取
首先根据经验选取一些基础特征做一个baseline
- advert_industry_inner:不同行业的广告效果应该是会不一样
- creative_type:广告创意不同对用户的吸引力会有所不同
- app_cate_id:app分类可以认为用户对这一类有所偏好，比如玩游戏的用户更加可能点击游戏类广告
- inner_slot_id:不同位置广告点击率是不一样
- city:地域性
- province:地域性
- carrier:运行商
- nnt:联网类型
- devtype:设备类型
- os_name:操作系统
缺失处理
app_cate_id缺失项较少暂时用NULL填充
def set_missing_value(data):
data['app_cate_id_full']=data.app_cate_id
data.loc[data.app_cate_id_full.isnull(),'app_cate_id_full']= "NULL"
data.drop(['app_cate_id'], axis=1, inplace=True)
def attribute_to_number(data):
columnNames = [
'advert_industry_inner',#广告主行业
'creative_type',#创意类型
'app_cate_id_full',#app分类
'inner_slot_id',
'city',#城市
'province',#省份
'carrier',#运营商
'nnt',#网络
'devtype',#设备类型
'os_name'#系统名字
]
for name in columnNames:
data[name+"_factorize"] = pd.factorize(data[name].values , sort=True)[0] + 1
data.drop(columnNames, axis=1, inplace=True)
return data
def make_new_feature(data):
pass
featureNames = [
#广告信息
'advert_industry_inner',#广告主行业，效果微弱
'creative_type',#创意类型
#媒体信息
'app_cate_id',#app分类
'inner_slot_id',#广告位
#上下文信息
'city',#城市
'carrier',#运营商
'province',#省份
'nnt',#网络
'devtype',#设备类型
'os_name',#系统名字
'click'
]
data_use = data_all[featureNames].copy()
set_missing_value(data_use)
make_new_feature(data_use)
#编码数据
data_now = attribute_to_number(data_use)
data_now.info()
RangeIndex: 1041674 entries, 0 to 1041673
Data columns (total 11 columns):
click 1001650 non-null float64
advert_industry_inner_factorize 1041674 non-null int64
creative_type_factorize 1041674 non-null int64
app_cate_id_full_factorize 1041674 non-null int64
inner_slot_id_factorize 1041674 non-null int64
city_factorize 1041674 non-null int64
province_factorize 1041674 non-null int64
carrier_factorize 1041674 non-null int64
nnt_factorize 1041674 non-null int64
devtype_factorize 1041674 non-null int64
os_name_factorize 1041674 non-null int64
dtypes: float64(1), int64(10)
memory usage: 87.4 MB
随机森林建模
data_now.drop(['click'], axis=1, inplace=True)
data_train = data_now[0:data_train_org.shape[0]][:].copy()
data_test = data_now[data_train_org.shape[0]:][:].copy()
y = data_train_org.click
predictors = data_train.columns
from sklearn import model_selection
from sklearn.ensemble import RandomForestClassifier
alg=RandomForestClassifier(random_state=1,n_estimators=100,min_samples_split=1000,min_samples_leaf=50,n_jobs=-1)
kf=model_selection.KFold(n_splits=10,shuffle=False,random_state=1)
scores=model_selection.cross_val_score(alg,data_train[predictors],y,cv=kf)
print(scores)
print(scores.mean())
[0.80614985 0.80197674 0.80689862 0.80233615 0.80473219 0.80007987
0.80536115 0.79934109 0.80501173 0.80516148]
0.8037048869365547
交叉测试分数0.8037感觉还行，那我们就训练模型提交吧！
alg.fit(data_train[predictors],y)
result = alg.predict_proba(data_test[predictors])[:,1]
result = pd.DataFrame({ 'instance_id': data_all[data_train_org.shape[0]:].instance_id,'predicted_score':result.astype(np.float32)})
result.to_csv("result.csv", index=False)
结果
格式正确，这就去提交啦啦啦！
成绩
总结
第一次写文章难免有点图多字少实在抱歉！其实自己也是机器学习初学者，希望能和大家多多交流学习。
虽然已经提交了成绩，但这只是一个开始后续还有更多可以做的。
- 更多特征挖掘
- 构建新特征
- 模型融合
如果有机会我会将后续的更多尝试都写出来。
由于个人能力有限难免会出现错误之处，还望各位斧正。