SGD相似度代码设计上遇到的问题及解决方案

1. 代码设计上遇到的问题及解决方案

1.1 遇到的问题

在代码测试的过程中,发现代码报错,报错信息如下:

IndexError                                Traceback (most recent call last)
 in 
      3 MF_SGD = ExplicitMF_Pearsion(train, 40, learning='sgd', verbose=True)
      4 iter_array = [1, 2, 5, 10, 25, 50, 100, 200]
----> 5 MF_SGD.calculate_learning_curve(iter_array, test, learning_rate=0.001)

I:\Pywork\协同过滤\对接28-推导ALS公式结果\algorithm\ExplicitMF_pearsion.py in calculate_learning_curve(self, iter_array, test, learning_rate)
    270                 print('Iteration: {}'.format(n_iter))
    271             if i == 0:
--> 272                 self.train(n_iter - iter_diff, learning_rate)
    273             else:
    274                 self.partial_train(n_iter - iter_diff)

I:\Pywork\协同过滤\对接28-推导ALS公式结果\algorithm\ExplicitMF_pearsion.py in train(self, n_iter, learning_rate)
    138             # self.global_bias = np.mean(self.ratings[np.where(self.ratings != 0)])
    139             self.persion_score = self.load_pearsion()
--> 140             self.partial_train(n_iter)
    141 
    142     def partial_train(self, n_iter):

I:\Pywork\协同过滤\对接28-推导ALS公式结果\algorithm\ExplicitMF_pearsion.py in partial_train(self, n_iter)
    163                 self.training_indices = np.arange(self.n_samples)
    164                 np.random.shuffle(self.training_indices)
--> 165                 self.sgd()
    166             ctr += 1
    167 

I:\Pywork\协同过滤\对接28-推导ALS公式结果\algorithm\ExplicitMF_pearsion.py in sgd(self)
    201             for f in range(self.persion_score.shape[0]):
    202                 if f == 0:
--> 203                     sum_pearsion = self.persion_score[u, f] * (self.user_vecs[u, :] - self.user_vecs[f, :])
    204                 sum_pearsion += self.persion_score[u, f] * (self.user_vecs[u, :] - self.user_vecs[f, :])
    205             self.pearsion_arr = self.persion_reg * sum_pearsion

IndexError: index 679 is out of bounds for axis 0 with size 610
  • 总结一下
      1. 相似度矩阵的长度为 610
      2. 当索引到 679 时,自然会报错

1.2 解决思路

  • 首先是查明 679 的来源
  1. 经过各种测试,已经弄懂 679 是变量 u 给出了,而变量 u 是随机选择的结果,范围是 1 - 943。
  2. 再次查明后,发现 943 是数据集的总用户数。
  • 那么为什么相似度矩阵只有 610 个用户呢
  1. 查明后,发现是计算相似度时导入数据的错误,没有导入与算法相同的数据集(movielens - 100k)。
  2. 错误代码如下所示:
data = pd.read_csv('dataset/movie_ratings.csv')

Ps:

  1. dataset 是存放数据集的文件夹,其中 movie_ratings.csv 是计算相似度时测试所用。
  2. dataset 目录下的 ml-100k/u.data 才是算法使用到的数据集,因此需要修改路径

1.3 解决方案

修改路径,导入与算法相同的数据,再次计算相似度矩阵,代码如下:

data = pd.read_csv('dataset/ml-100k/u.data', sep='\t', names=names)

你可能感兴趣的:(SGD相似度代码设计上遇到的问题及解决方案)