DatawhaleAI夏令营第三期机器学习用户新增预测挑战赛baseline新手教程

本教程会带领大家项目制学习，由浅入深，逐渐进阶。从竞赛通用流程与跑通最简的Baseline，到深入各个竞赛环节，精读Baseline与进阶实践技巧的学习。
千里之行，始于足下，从这里，开启你的 AI 学习之旅吧！
—— Datawhale贡献者团队

用户新增预测挑战赛：
https://challenge.xfyun.cn/topic/info?type=subscriber-addition-prediction&ch=ymfk4uU
举办方：科大讯飞

# 导入库
import pandas as pd
import numpy as np
from sklearn.tree import DecisionTreeClassifier#决策树模型

# 读取训练集和测试集文件
train_data = pd.read_csv('用户新增预测挑战赛公开数据/train.csv')
test_data = pd.read_csv('用户新增预测挑战赛公开数据/test.csv')

# 提取udmap特征，人工进行onehot
#定义udmap_onethot()函数：该函数用于对udmap特征进行人工的one-hot编码。首先创建一个长度为9的全零向量v，然后根据输入的d的值进行判断，如果值为'unknown'，则直接返回全零向量。如果值不为'unknown'，则通过eval()函数将字符串转换成字典对象d，然后遍历数字1到9，检查字典中是否包含键名为'key1'、'key2'、...、'key9'的元素，如果存在，则将对应的值赋给向量v的相应位置（索引为i-1），最后返回得到的向量v。
def udmap_onethot(d):
    v = np.zeros(9)
    if d == 'unknown':
        return v
    d = eval(d)
    for i in range(1, 10):
        if 'key' + str(i) in d:
            v[i-1] = d['key' + str(i)]
            
    return v
#对udmap特征进行one-hot编码：通过apply()方法将udmap_onethot()函数应用到train_data['udmap']和test_data['udmap']上，将返回的数组垂直堆叠成DataFrame对象train_udmap_df和test_udmap_df，然后为这两个DataFrame设置列名。
train_udmap_df = pd.DataFrame(np.vstack(train_data['udmap'].apply(udmap_onethot)))
test_udmap_df = pd.DataFrame(np.vstack(test_data['udmap'].apply(udmap_onethot)))
train_udmap_df.columns = ['key' + str(i) for i in range(1, 10)]
test_udmap_df.columns = ['key' + str(i) for i in range(1, 10)]

# 编码udmap是否为空
train_data['udmap_isunknown'] = (train_data['udmap'] == 'unknown').astype(int)
test_data['udmap_isunknown'] = (test_data['udmap'] == 'unknown').astype(int)

# udmap特征和原始数据拼接
#通过使用.concat()函数将train_udmap_df和test_udmap_df与原始数据集train_data和test_data进行列拼接。
train_data = pd.concat([train_data, train_udmap_df], axis=1)
test_data = pd.concat([test_data, test_udmap_df], axis=1)

# 提取eid的频次特征
# 使用value_counts()函数统计train_data['eid']中每个元素的出现次数，并通过map()函数将结果映射到对应的train_data['eid_freq']和test_data['eid_freq']中。
train_data['eid_freq'] = train_data['eid'].map(train_data['eid'].value_counts())
test_data['eid_freq'] = test_data['eid'].map(train_data['eid'].value_counts())

# 提取eid的标签特征
# 使用groupby()函数根据eid对train_data进行分组，然后计算每个分组中target列的均值，并通过map()函数将结果映射到对应的train_data['eid_mean']和test_data['eid_mean']中。
train_data['eid_mean'] = train_data['eid'].map(train_data.groupby('eid')['target'].mean())
test_data['eid_mean'] = test_data['eid'].map(train_data.groupby('eid')['target'].mean())

# 提取时间戳
# 将train_data['common_ts']和test_data['common_ts']的数值类型转换为时间戳类型，指定时间单位为毫秒。然后使用.dt.hour将时间戳转换为小时数，并将结果存储在train_data['common_ts_hour']和test_data['common_ts_hour']中。
train_data['common_ts'] = pd.to_datetime(train_data['common_ts'], unit='ms')
test_data['common_ts'] = pd.to_datetime(test_data['common_ts'], unit='ms')
train_data['common_ts_hour'] = train_data['common_ts'].dt.hour
test_data['common_ts_hour'] = test_data['common_ts'].dt.hour

# 加载决策树模型进行训练
# 创建一个DecisionTreeClassifier分类器对象clf，使用fit()方法将训练集的特征列（去除不需要的列）与目标列作为输入进行模型训练。
clf = DecisionTreeClassifier()
clf.fit(
    train_data.drop(['udmap', 'common_ts', 'uuid', 'target'], axis=1),
    train_data['target']
)

# 对测试集进行预测，将submit.csv在比赛页面提交
# 使用已训练好的分类器clf对测试集的特征列（去除不需要的列）进行预测，并生成包含预测结果的DataFrame对象。最后将预测结果保存为CSV文件submit.csv，并包括uuid和target两列。
pd.DataFrame({
    'uuid': test_data['uuid'],
    'target': clf.predict(test_data.drop(['udmap', 'common_ts', 'uuid'], axis=1))
}).to_csv('submit.csv', index=None)

Q&A

• 如果将submit.csv提交到讯飞比赛页面，会有多少的分数？
• 我提交了的成绩是0.62686
• 代码中如何对udmp进行了人工的onehot？
• 代码中通过自定义的udmap_onethot()函数对udmap进行了人工的one-hot编码。以下是udmap_onethot()函数的具体实现步骤：

1、创建长度为9的全零向量v，用于存储编码后的结果。
2、判断输入的d的值是否为’unknown’，如果是，则直接返回全零向量v。
3、如果d的值不是’unknown’，则将字符串形式的字典对象转换成实际的字典对象，可以使用eval()函数来实现这一转换。
4、遍历数字1到9（代表one-hot编码的9个类别），检查字典对象d中是否包含键名为’key1’、‘key2’、…、‘key9’的元素。
5、对于每个数字i，如果字典对象d中存在键名为’key’+str(i)的元素，则将该元素的值赋给向量v的第i-1个位置（索引为i-1）。
6、最后返回编码后得到的向量v。
通过调用udmap_onethot()函数，并将其应用到训练集和测试集的udmap列上，可以得到经过人工one-hot编码后的特征矩阵。

datawhale一位大佬的baseline讲解可以看看哦
baseline视频讲解