推荐算法学习记录2.2——kaggle数据集的动漫电影数据集推荐算法实践——基于内容的推荐算法、协同过滤推荐

1、基于内容的推荐

        这种方法根据项的相关信息(如描述信息、标签等)和用户对项的操作行为(如评论、收藏、点赞等)来构建推荐算法模型。它可以直接利用物品的内容特征进行推荐,适用于内容较为丰富的场景。‌

#1. 基于内容的推荐算法

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import linear_kernel
import pandas as pd


anime = pd.read_csv('./data/archive_2/anime.csv')

# 使用TF-IDF向量化
tfidf = TfidfVectorizer(stop_words='english')
tfidf_matrix = tfidf.fit_transform(anime['Genres'].fillna(''))

# 计算每个动漫之间的余弦相似度
cosine_sim = linear_kernel(tfidf_matrix, tfidf_matrix)

# 创建一个动漫名字到索引的映射
indices = pd.Series(anime.index, index=anime['Name']).drop_duplicates()

# 推荐函数
def content_based_recommendations(title, cosine_sim=cosine_sim):
    idx = indices[title]
    sim_scores = list(enumerate(cosine_sim[idx]))
    sim_scores = sorted(sim_scores, key=lambda x: x[1], reverse=True)
    sim_scores = sim_scores[1:11]
    anime_indices = [i[0] for i in sim_scores]
    return anime['Name'].iloc[anime_indices]

# 示例:推荐与"Cowboy Bebop"相似的动漫
print(content_based_recommendations('Cowboy Bebop'))

 结果如下:

推荐算法学习记录2.2——kaggle数据集的动漫电影数据集推荐算法实践——基于内容的推荐算法、协同过滤推荐_第1张图片

2、协同过滤推荐

这种方法通过分析用户的历史行为和偏好,找出具有相似兴趣的用户群体,然后推荐他们喜欢的物品或内容。协同过滤是一种常见的推荐系统技术,它基于用户的历史行为(例如评分、点击、购买等)来预测用户可能感兴趣的物品。协同过滤主要有两种类型:基于用户的协同过滤和基于物品的协同过滤。

基于用户的协同过滤推荐通过寻找具有相似兴趣的用户来推荐,

基于物品的协同过滤推荐通过寻找具有相似特征的物品来推荐。‌

基于用户的协同过滤
  1. 计算用户相似度

    • 找出与目标用户相似的用户。
    • 常用的相似度度量方法包括余弦相似度、皮尔逊相关系数等。
    • 余弦相似度公式:
    • 其中 u 和 v 是两个用户的评分向量。
  2. 推荐物品:
    • 找出相似用户喜欢但目标用户未评分的物品。
    • 根据相似用户的评分来预测目标用户对这些物品的评分。
    • 推荐评分最高的物品给目标用户.
import pandas as pd
from sklearn.metrics.pairwise import cosine_similarity
from scipy.sparse import csr_matrix
import numpy as np


batch_size = 10000  # 由于内存不够,一次处理10000条信息
num_recommendations = 10  # 推荐10个电影


def process_batch(batch_df, user_item_matrix):
    # 将当前批的数据合并到全局用户-项目矩阵
    batch_pivot = batch_df.pivot(index='user_id', columns='anime_id', values='rating').fillna(0)
    # 合并到全局矩阵
    user_item_matrix = user_item_matrix.add(batch_pivot, fill_value=0)
    return user_item_matrix

# 计算用户之间的相似度
def calculate_similarity(user_item_matrix):
    # 转换为稀疏矩阵
    sparse_user_item_matrix = csr_matrix(user_item_matrix)
    # 计算相似度
    user_similarity = cosine_similarity(sparse_user_item_matrix)
    user_similarity_df = pd.DataFrame(user_similarity, index=user_item_matrix.index, columns=user_item_matrix.index)
    return user_similarity_df

# 生成推荐
def user_based_recommendations(user_id, user_item_matrix, user_similarity_df, anime_df, num_recommendations=10):
    if user_id not in user_item_matrix.index:
        raise ValueError(f"用户ID {user_id} 不在数据中")
    
    # 获取相似用户
    similar_users = user_similarity_df[user_id].sort_values(ascending=False).index[1:]
 
    if len(similar_users) == 0:
        return []

    # 获取相似用户的评分数据
    similar_users_ratings = user_item_matrix.loc[similar_users]

    # 计算推荐得分
    scores = similar_users_ratings.mean(axis=0).sort_values(ascending=False)

    # 获取当前用户已经评分的动漫
    user_watched_animes = user_item_matrix.loc[user_id]
    user_watched_animes = user_watched_animes[user_watched_animes > 0].index

    # 排除当前用户已经看过的动漫
    recommendations = scores.drop(user_watched_animes, errors='ignore')
    
    # 获取前num_recommendations个推荐
    top_recommendations = recommendations.head(num_recommendations).index

    # 确保推荐的动漫在anime数据集中
    top_recommendations = top_recommendations[top_recommendations.isin(anime_df['MAL_ID'])]

    # 获取推荐的动漫名称
    recommended_animes = anime_df[anime_df['MAL_ID'].isin(top_recommendations)]['Name'].values

    return recommended_animes


def main():
    
    anime_df = pd.read_csv('./data/archive_2/anime.csv')
    user_item_matrix = pd.DataFrame()
    for chunk in pd.read_csv('./data/archive_2/rating_complete.csv', chunksize=batch_size):
        user_item_matrix = process_batch(chunk, user_item_matrix)
    
    # 计算用户之间的相似度
    user_similarity_df = calculate_similarity(user_item_matrix)

    # 为用户0推荐动漫
    recommended_animes = user_based_recommendations(0, user_item_matrix, user_similarity_df, anime_df, num_recommendations)
    print("推荐动漫:", recommended_animes)

if __name__ == "__main__":
    main()
基于物品的协同过滤
  1. 计算物品相似度

    • 找出与目标物品相似的物品。
    • 常用的相似度度量方法同样包括余弦相似度、皮尔逊相关系数等。
    • 余弦相似度公式:
    • 其中 i 和 j 是两个物品的评分向量。
  2. 推荐物品
    • 根据用户对相似物品的评分来预测用户对目标物品的评分。
    • 推荐评分最高的物品给用户。

        协同过滤算法的优缺点
优点
  1. 无需领域知识:协同过滤仅依赖于用户的历史行为数据,不需要对物品本身有深入的了解。
  2. 个性化推荐:能够根据用户的兴趣和行为进行个性化推荐,效果较好。
  3. 简单直观:算法相对简单,易于实现和解释。
缺点
  1. 数据稀疏性:在实际应用中,用户对大多数物品没有评分,这会导致评分矩阵非常稀疏,影响推荐效果。
  2. 冷启动问题:对于新用户或新物品,由于缺乏历史数据,协同过滤很难做出准确的推荐。
  3. 扩展性差:当用户和物品数量增加时,计算相似度的开销会显著增加,影响系统性能。

冷启动问题

冷启动问题是指在推荐系统中,无法为新用户或新物品提供高质量的推荐。这是协同过滤算法面临的主要挑战之一。解决冷启动问题的方法包括:

  1. 新用户冷启动

    • 问卷调查:在用户注册时,通过问卷调查获取用户的兴趣偏好。
    • 使用社交网络数据:利用用户的社交网络数据,推测用户的兴趣。
    • 混合推荐:结合内容过滤或基于知识的推荐方法,使用用户的属性和特征进行推荐。
  2. 新物品冷启动

    • 内容过滤:利用物品的内容信息(如标签、描述等)进行推荐。
    • 使用上下文数据:利用物品的上下文数据,如发布日期、类型等,进行推荐。
    • 混合推荐:结合协同过滤与内容过滤,通过物品的内容特征和已有的少量用户反馈进行推荐。

你可能感兴趣的:(推荐算法学习,python,matplotlib,开发语言)