SGD相似度代码设计上遇到的问题及解决方案

1. 代码设计上遇到的问题及解决方案

1.1 遇到的问题

在代码测试的过程中，发现代码报错，报错信息如下：

IndexError                                Traceback (most recent call last)
 in 
      3 MF_SGD = ExplicitMF_Pearsion(train, 40, learning='sgd', verbose=True)
      4 iter_array = [1, 2, 5, 10, 25, 50, 100, 200]
----> 5 MF_SGD.calculate_learning_curve(iter_array, test, learning_rate=0.001)

I:\Pywork\协同过滤\对接28-推导ALS公式结果\algorithm\ExplicitMF_pearsion.py in calculate_learning_curve(self, iter_array, test, learning_rate)
    270                 print('Iteration: {}'.format(n_iter))
    271             if i == 0:
--> 272                 self.train(n_iter - iter_diff, learning_rate)
    273             else:
    274                 self.partial_train(n_iter - iter_diff)

I:\Pywork\协同过滤\对接28-推导ALS公式结果\algorithm\ExplicitMF_pearsion.py in train(self, n_iter, learning_rate)
    138             # self.global_bias = np.mean(self.ratings[np.where(self.ratings != 0)])
    139             self.persion_score = self.load_pearsion()
--> 140             self.partial_train(n_iter)
    141 
    142     def partial_train(self, n_iter):

I:\Pywork\协同过滤\对接28-推导ALS公式结果\algorithm\ExplicitMF_pearsion.py in partial_train(self, n_iter)
    163                 self.training_indices = np.arange(self.n_samples)
    164                 np.random.shuffle(self.training_indices)
--> 165                 self.sgd()
    166             ctr += 1
    167 

I:\Pywork\协同过滤\对接28-推导ALS公式结果\algorithm\ExplicitMF_pearsion.py in sgd(self)
    201             for f in range(self.persion_score.shape[0]):
    202                 if f == 0:
--> 203                     sum_pearsion = self.persion_score[u, f] * (self.user_vecs[u, :] - self.user_vecs[f, :])
    204                 sum_pearsion += self.persion_score[u, f] * (self.user_vecs[u, :] - self.user_vecs[f, :])
    205             self.pearsion_arr = self.persion_reg * sum_pearsion

IndexError: index 679 is out of bounds for axis 0 with size 610

• 总结一下
  • 1. 相似度矩阵的长度为 610
    2. 当索引到 679 时，自然会报错

1.2 解决思路

• 首先是查明 679 的来源

1. 经过各种测试，已经弄懂 679 是变量 u 给出了，而变量 u 是随机选择的结果，范围是 1 - 943。
2. 再次查明后，发现 943 是数据集的总用户数。

• 那么为什么相似度矩阵只有 610 个用户呢

1. 查明后，发现是计算相似度时导入数据的错误，没有导入与算法相同的数据集（movielens - 100k）。
2. 错误代码如下所示：

data = pd.read_csv('dataset/movie_ratings.csv')

Ps：

1. dataset 是存放数据集的文件夹，其中 movie_ratings.csv 是计算相似度时测试所用。
2. dataset 目录下的 ml-100k/u.data 才是算法使用到的数据集，因此需要修改路径

1.3 解决方案

修改路径，导入与算法相同的数据，再次计算相似度矩阵，代码如下：

data = pd.read_csv('dataset/ml-100k/u.data', sep='\t', names=names)