推荐系统算法概览和数据预处理方式

推荐系统基础知识概览图

RS知识概览图

在进行推荐系统构建时，我们主要分为四大步：1.基于数据源获取数据 2.对数据进行预处理操作 3.通过相关模型对数据进行分析 4.对分析过后的结果进行转化解释

RS预处理经常用到的方法介绍

相似度度量方式

相似度度量方式其实就是我们经常说到的距离公式，如欧式距离，皮尔逊距离等。在使用聚类算法、回归算法和分类算法中会经常用到，如KNN，KMeans模型。下面将介绍比较经常使用的距离公式(又称相似度度量方式)：

The Minkowski Distance

The Minkowski Distance

x,y 分别为不同的数据记录，形式为一个向量。k代表向量中的第几个特征，n为向量总特征的总数，r代表我们要使用用来计算距离的维度。当r=1时，distance为L1或被称为Manhattan Distance；当r=2时，distance为L2或被称为Euclidean Distance；以此类推，当r=n时，及Ln。

在使用该距离方法时，往往会因为不同特征的不同区间而导致两个特征的距离衡量不合理，因此在使用该距离方法时，会先将数据进行标准化，使维度变为尺度无关的。但某两个维度可能在高维度中存在线性相关的关系。

The Mahalanobis distance(马氏距离)

The Mahalanobis distance

公式字符解释

马氏距离就是考虑到了在高维度中可能存在线性相关的关系问题。马氏距离会将坐标轴进行拉伸，从而使各个特征都线性无关，再进行归一化。我们也可以理解为先对数据进行主成分分析，然后再对数据进行归一化操作。

Cosine Similarity

Cosine Similarity

余弦相似度也就是通过计算x和y向量的夹角。两个向量夹角越大说明相似性越低，反之夹角越小相似度越高。余弦相似度公式最重要的地方是在分子部分的点乘运算，分母相当于对向量进行了归一化操作，不过计算余弦相似度最好先进行零均值化，效果往往会更出色。

Pearson Correlation 

Pearson Correlation

Given the covariance of data points x and y Σ, and their standard deviation σ

皮尔森相关系数描述的是两条记录的线性相关性。若值大于0，则正相关；小于0，负相关；等于零，无线性相关性；等于1或-1，说明落在直线上。其取值范围在[-1, 1]之间

References

1.Recommender Systems Handbook p39-p48

2.https://www.cnblogs.com/DPL-Doreen/p/8183909.html

3.https://blog.csdn.net/chao2016/article/details/80917579