【机器学习】LP距离、欧式距离、曼哈顿距离、切比雪夫距离

其他机器学习系列文章见于专题:机器学习进阶之路——学习笔记整理,欢迎大家关注。

  设特征空间 χ \chi χ n n n维实数向量空间 R n R^n Rn x i , x j ∈ χ {x_i},{x_j} \in \chi xi,xjχ x i = ( x i ( 1 ) , x i ( 2 ) , ⋯   , x i ( n ) ) T x _ { i } = \left( x _ { i } ^ { ( 1 ) } , x _ { i } ^ { ( 2 ) } , \cdots , x _ { i } ^ { ( n ) } \right) ^ { T } xi=(xi(1),xi(2),,xi(n))T x j = ( x j ( 1 ) , x j ( 2 ) , ⋯   , x j ( n ) ) T x _ { j } = \left( x _ { j } ^ { ( 1 ) } , x _ { j } ^ { ( 2 ) } , \cdots , x _ { j } ^ { ( n ) } \right) ^ { \mathrm { T } } xj=(xj(1),xj(2),,xj(n))T

1. 闵可夫斯基距离(Minkowski distance, L p L_p Lp距离)

   x i , x j x_i,x_j xi,xj L p L_p Lp距离定义为:
L p ( x i , x j ) = ( ∑ l = 1 n ∣ x i ( l ) − x j ( l ) ∣ p ) 1 p L _ { p } \left( x _ { i } , x _ { j } \right) = \left( \sum _ { l = 1 } ^ { n } \left| x _ { i } ^ { ( l ) } - x _ { j } ^ { ( l ) } \right| ^ { p } \right) ^ { \frac { 1 } { p } } Lp(xi,xj)=(l=1nxi(l)xj(l)p)p1
其中, p ≥ 1 p \ge 1 p1

2. 曼哈顿距离(Manhattan distance)

  当 p = 1 p=1 p=1时, L p L_p Lp距离就变成了曼哈顿距离:
L 1 ( x i , x j ) = ∑ l = 1 n ∣ x i ( l ) − x j ( l ) ∣ L _ { 1 } \left( x _ { i } , x _ { j } \right) = \sum _ { l = 1 } ^ { n } \left| x _ { i } ^ { ( l ) } - x _ { j } ^ { ( l ) } \right| L1(xi,xj)=l=1nxi(l)xj(l)

3. 欧式距离(Euclidean distance)

  当 p = 2 p=2 p=2 L p L_p Lp距离就变成了欧几里得距离:
L 2 ( x i , x j ) = ( ∑ l = 1 n ∣ x i ( l ) − x j ( l ) ∣ 2 ) 1 2 L _ { 2 } \left( x _ { i } , x _ { j } \right) = \left( \sum _ { l = 1 } ^ { n } \left| x _ { i } ^ { ( l ) } - x _ { j } ^ { ( l ) } \right| ^ { 2 } \right) ^ { \frac { 1 } { 2 } } L2(xi,xj)=(l=1nxi(l)xj(l)2)21

4. 切比雪夫距离(Chebyshev distance)

  当 p = ∞ p = \infty p= L p L_p Lp距离就变成了切比雪夫距离,它是各个坐标距离的最大值:
L ∞ ( x i , x j ) = max ⁡ l ∣ x i ( l ) − x j ( l ) ∣ L _ { \infty } \left( x _ { i } , x _ { j } \right) = \max _ { l } \left| x _ { i } ^ { ( l ) } - x _ { j } ^ { ( l ) } \right| L(xi,xj)=lmaxxi(l)xj(l)

参考文献:

  1. 《统计学习方法》第三章k近邻模型——李航

你可能感兴趣的:(机器学习,机器学习进阶之路)