关于天池赛中零基础入门推荐系统 - 新闻推荐Task01赛题理解+Baseline
文章目录
- 前言
- 一、推荐系统是如何推荐的？
- 二、用户画像是如何预测用户行为的？
- 三、使用步骤
-
- 1.引入库
- 2.创建两个文件夹：
- 3.压缩数据：
- 4.分析我对一些代码片段的理解：
- 总结
前言
在高速的网络、便捷的支付方式下，消费方式得到改进，网上购物也越来越流行。当你打开购物APP时，你是否有对它的推荐过程产生过疑惑，明明上一次只是随便搜了一下零食，而这一次打开，为你推荐了满屏零食，不得已，你又剁手了，真是又爱又恨呀。
同样地，当我们打开新闻APP看过文章时，接下来APP将会为你推荐一堆跟你历史浏览文章题材及其相似的文章,你是否也有对它的推荐过程产生过疑惑。
那么，接下来本篇文章将依据Datawhale的针对天池赛中零基础入门推荐系统 - 新闻推荐Task01，来分享我对此次赛题及Baseline的一些理解，也希望能够为你解答一些疑惑。
| 打卡记录NO.1
一、推荐系统是如何推荐的？
举例子：新闻APP中的新闻推荐
在用户与新闻文章进行交互之后，根据用户的历史足迹中的特征来生成用户画像，再通过用户画像来预测用户未来点击的新闻文章。
二、用户画像是如何预测用户行为的？
用户画像成为模型训练的训练样本，接着由训练样本来训练得出预测模型，最终进行算法推荐，即一般算法推荐会分成召回、排序和后排等几步。其中对分析报表进行分析，调整推荐的策略，最后再进行算法推荐中。
剖析：
- 根据用户画像，从新闻文章池中挑选出符合的候选集，并进行初始排序。
- 在模型排序阶段给每个文章打分，即计算出用户在未来点击某些新闻文章的概率。
- 为用户挑选出分数相对较高的新闻文章。
- 将得分高的新闻文章进行多样性排序。
- 将分数最大的新闻文章推荐给用户，进而形成高效的推荐流程。
三、使用步骤
1.引入库
代码如下：
# import packages
import time, math, os
from tqdm import tqdm
import gc
import pickle
import random
from datetime import datetime
from operator import itemgetter
import numpy as np
import pandas as pd
import warnings
from collections import defaultdict
warnings.filterwarnings('ignore')
2.创建两个文件夹：
其中，data_path为保存原数据的存储路径；save_path为保存最终的数据
data_path = './data_raw/'
save_path = './tmp_results/'
3.压缩数据：
python pandas处理大数据节省内存的方法：
- 数值类型的列进行降级处理
- 字符串类型的列转化为类别类型（category）
- 字符串类型的列的类别数超过总行数的一半时，建议使用object类型
代码如下：
# 节约内存的一个标配函数
def reduce_mem(df): ##遍历DataFrame的所有列并修改它们的数据类型以减少内存使用
starttime = time.time() #####关于time.time()用法见附录1
numerics = ['int16', 'int32', 'int64', 'float16', 'float32', 'float64']
start_mem = df.memory_usage().sum() / 1024**2 ##记录原数据的内存大小
##print('Memory usage of dataframe is {:.2f} MB'.format(start_mem))
for col in df.columns: ##遍历DataFrame的所有列
col_type = df[col].dtypes ##读取DataFrame的所有列的数据类型
if col_type in numerics: ##如果数据类型属于numerics里面的格式类型
c_min = df[col].min() ##取出所占内存最小的列
c_max = df[col].max() ##取出所占内存最大的列
if pd.isnull(c_min) or pd.isnull(c_max): ##如果最小与最大的数据类型是空的时，便继续寻找
continue
if str(col_type)[:3] == 'int': ##如果数据类型的前三位字符是int类型的话,不管是int64还是int32还是int16等,都加入判断
if c_min > np.iinfo(np.int8).min and c_max < np.iinfo(np.int8).max:
df[col] = df[col].astype(np.int8) ##如果数据大小没溢出,那么转化成int8
elif c_min > np.iinfo(np.int16).min and c_max < np.iinfo(np.int16).max:
df[col] = df[col].astype(np.int16) ##如果数据大小没溢出,那么转化成int16
elif c_min > np.iinfo(np.int32).min and c_max < np.iinfo(np.int32).max:
df[col] = df[col].astype(np.int32) ##如果数据大小没溢出,那么转化成int32
elif c_min > np.iinfo(np.int64).min and c_max < np.iinfo(np.int64).max:
df[col] = df[col].astype(np.int64) ##如果数据大小没溢出,那么转化成int64
else: ##不是int类型的话,那就是float类型
if c_min > np.finfo(np.float16).min and c_max < np.finfo(np.float16).max:
df[col] = df[col].astype(np.float16) ##如果数据大小没溢出,那么转化成float16
elif c_min > np.finfo(np.float32).min and c_max < np.finfo(np.float32).max:
df[col] = df[col].astype(np.float32) ##如果数据大小没溢出,那么转化成float32
else: ##否则,直接转化成float64
df[col] = df[col].astype(np.float64)
end_mem = df.memory_usage().sum() / 1024**2 ##记录转化后数据的内存大小
##print('Memory usage after optimization is {:.2f} MB'.format(end_mem))
##print('Decreased by {:.1f}%'.format(100 * (start_mem - end_mem) / start_mem)) # 看一下压缩比例
print('-- Mem. usage decreased to {:5.2f} Mb ({:.1f}% reduction),time spend:{:2.2f} min'.format(end_mem,
100*(start_mem-end_mem)/start_mem,
(time.time()-starttime)/60))
##读出转化后数据的内存大小、内存的压缩比例、花费的分钟
return df
附录1：
time.time() 返回当前时间的时间戳
输出格式：1606293466.051585
time.localtime( time.time() )
输出格式： (2020, 11, 25, 16, 37, 46, 2, 330, 0)
time.asctime( time.localtime(time.time()) )
输出格式：Wed Nov 25 16:37:46 2020
4.分析我对一些代码片段的理解：
（1）从训练集中划出一部分数据来调试
all_click = pd.read_csv(data_path + 'train_click_log.csv') ##读取数据
all_user_ids = all_click.user_id.unique() #####关于.unique()作用见附录2
sample_user_ids = np.random.choice(all_user_ids, size=sample_nums, replace=False) #####关于.choice()作用见附录3
all_click = all_click[all_click['user_id'].isin(sample_user_ids)] #####关于.isin()作用见附录4
all_click = all_click.drop_duplicates((['user_id', 'click_article_id', 'click_timestamp'])) #####关于.drop_duplicates()作用见附录5
附录2：
unique()：返回参数数组中所有不同的值，并按照从小到大排序
附录3：
np.random.choice(a, size=None, replace=True, p=None)
其中：
a：一维数组，或python内建的list(列表)、tuple(元组)也可以使用；
replace:True表示可以取相同数字，False表示不可以取相同数字；
数组p：与数组a相对应，表示取数组a中每个元素的概率，默认为选取每个元素的概率相同。
附录4：
isin()：函数接受一个列表，判断该列中元素是否在列表中。
附录5：
去除完全重复的行数据：data.drop_duplicates(inplace=True)
去除某几列重复的行数据：data.drop_duplicates(subset=[‘A’,‘B’],keep=‘first’,inplace=True)
其中：
keep： {‘first’, ‘last’, False}, 默认值 ‘first’
first： 保留第一次出现的重复行，删除后面的重复行；
last： 删除重复项，除了最后一次出现；
False： 删除所有重复项。
（2）根据点击时间获取用户的点击文章序列：
def get_user_item_time(click_df):
click_df = click_df.sort_values('click_timestamp') #####关于.sort_values()作用见附录6
附录6：
DataFrame.sort_values(by=‘##’,axis=0,ascending=True, inplace=False, na_position=‘last’)
其中：
by：指定列名(axis=0）或索引值(axis=1)
na_position {‘first’,‘last’}，设定缺失值的显示位置
（3）基于物品的协同过滤算法进行相似度计算：
# 计算物品相似度
i2i_sim = {} ##定义一个新的空字典
item_cnt = defaultdict(int) #####关于defaultdict()作用见附录7
for user, item_time_list in tqdm(user_item_time_dict.items()): ##遍历每条用户-文章及点击时间的字典
# 在基于商品的协同过滤优化的时候可以考虑时间因素
for i, i_click_time in item_time_list:##遍历文章和被点击时间的字典
item_cnt[i] += 1
i2i_sim.setdefault(i, {})
##字典setdefault()函数和get()方法类似。用来放文章1和文章2及其相似度 文章1：{文章2:相似度}
附录7：
defaultdict()可以接受一个参数，如str，int，float等。
但这个参数并不是来约束字典的key的值的类型，也不是用来约束value的值的类型。而是当字典的key不存在时，将value初始化为某个值。str初始化为“”，int初始化为0，float初始化为0.0。
总结
以上就是今天要分享的内容，本文仅仅简单分享了我对推荐算法及其代码的一些理解，到现在为止依然存在许多不足，对一些代码的理解还不到位。不过，在写完这一篇文章，收获还是满满的，比如，从一开始不清楚一些函数的用法，到最后通过搜索软件得到一些解答。这一篇文章是针对Task01的理解，接下来还有四个任务，希望自己能够有始有终。