数学基础-相关性和相似度度量

相关性是数据属性相关性的度量方法，相似度是数据对象相似性度量的方法，数据对象由多个数据属性描述，数据属性的相关性由相关系数来描述，数据对象的相似性由某种距离度量。许多数据分析算法会涉及相似性度量和相关性度量，如聚类、KNN等。

相关性度量

相关性用相关系数来度量，相关系数种类如下图所示。相关系数绝对值越大表是相关性越大，相关系数取值在-1–1之间，0表示不相关。各系数计算表达式和取值范围参考 相关性与相似性度量

相似性度量

相似度用距离来度量，相似度度量指标种类如下图所示。相似度通常是非负的，取值在0-1之间。距离越大，相似性越小，在应用过程中要注意计算的是相似度还是距离。

Jaccard（杰卡德相似系数）
两个集合A和B的交集元素在A，B的并集中所占的比例
杰卡德距离用两个集合中不同元素占所有元素的比例来衡量两个集合的区分度
Cosine（余弦相似度）
在二维空间中向量A(x1,y1)与向量B(x2,y2)的夹角余弦公式
夹角余弦取值范围为[-1,1]。当两个向量的方向重合时夹角余弦取最大值1，当两个向量的方向完全相反夹角余弦取最小值-1，两个方向正交时夹角余弦取值为0.

Minkowski Distance（闵可夫斯基距离）
两个n维变量间的闵可夫斯基距离定义为：
当p=1时，就是曼哈顿距离，两点间各边距离之和
当p=2时，就是欧氏距离，两点间直线距离
当p→∞时，就是切比雪夫距离，所有边距离的最大值
闵氏距离的缺点(1)数据量纲不同，无法直接进行距离计算，需要先对数据进行归一化(2)没有考虑各个分量的分布（期望，方差等)。下图展示了不同距离函数是怎么逼近中心的

Mahalanobis Distance（马氏距离）
马氏距离计算公式为
S为协方差矩阵， 若协方差矩阵是单位矩阵则变为欧式距离。马氏距离的优点是量纲无关、排除变量之间的相关性的干扰。

Hamming distance(汉明距离)
两个等长字符串s1与s2之间的汉明距离定义为将其中一个变为另外一个所需要作的最小替换次数。例如字符串“1111”与“1010”之间的汉明距离为2。信息编码时为了增强容错性，应使得编码间的最小汉明距离尽可能大。

K-L散度（相对熵）
是衡量两个分布(P、Q)之间的距离；越小越相似
Hellinger距离
在概率论和统计理论中，Hellinger距离被用来度量两个概率分布的相似度。它是f散度的一种（f散度——度量两个概率分布相似度的指标）。
概率密度函数分别表示为 f 和 g，两个概率密度函数的Hellinger距离的平方为

具有混合类型属性的对象可以将相同类型的属性划分为一组，对每组属性分析继续相似度度量，也可以分别对每个属性进行相似度度量再加权。

其他类型的距离度量可以参考 18种和“距离(distance)”、“相似度(similarity)”相关的量的小结

本文内容参考以下链接，写博客的目的是学习的总结和知识的共享，如有侵权，请与我联系，我将尽快处理
https://blog.csdn.net/solomonlangrui/article/details/47454805
http://www.docin.com/p-738642884.html
http://bluewhale.cc/2016-06-30/analysis-of-correlation.html
https://blog.csdn.net/a200800170331/article/details/12912997
https://blog.csdn.net/bbbeoy/article/details/78617680