数据降维(二)多维缩放MDS

多维缩放MDS

多维缩放(Multiple Dimensional Scaling，MDS)
问题形式化：

• 给定空间中任意两个点的距离(pairwise distances ), 点的精确坐标和维度是未知的.
• 我们希望将这些点嵌入到一个低维的空间中，使得新的空间中点对之间的距离和原始空间中的距离尽可能接近.
  基本思想：
  $d^{\prime }$空间的欧式距离等于原始空间的欧式距离
  $$||z_i-z_j||=dis{t}_{ij},distij=D_{ij}$$

推导

令$B=Z^{T}Z\in R^{m\times m},b_{ij}=z_i^T{z}_j$
$$dis{t}_{ij}^2=||z_i|{|}^2+||z_j|{|}^2-2z_i^T{z}_j=b_{ii}+b_{jj}-2b_{ij}$$
假定$Z$已经标准化(中心为0),${\sum }_{i=1}^m{z}_i=0$，用$D$表示$B$.

$$\begin{array}{rl}{b}_{ij}& =-\frac{1}{2}(dis{t}_{ij}^2-b_{ii}-b_{jj})\\ & =-\frac{1}{2}(dis{t}_{ij}^2-\frac{1}{m}(\sum _{j=1}^{m}dis{t}_{ij}^2-tr(B))-\frac{1}{m}(\sum _{i=1}mdis{t}_{ij}^2-tr(B)))\\ & =-\frac{1}{2}(dis{t}_{ij}^2-\frac{1}{m}\sum _{j=1}^{m}dis{t}_{ij}^2-\frac{1}{m}\sum _{i=1}^{m}dis{t}_{ij}^2+\frac{2}{m}tr(B))\\ & =-\frac{1}{2}(dis{t}_{ij}^2-\frac{1}{m}\sum _{j=1}^{m}dis{t}_{ij}^2-\frac{1}{m}\sum _{i=1}^{m}dis{t}_{ij}^2+\frac{1}{m^2}\sum _{i=1}^m\sum _{j=1}^{m}dis{t}_{ij}^2)\\ & =-\frac{1}{2}(dis{t}_{ij}^2-dis{t}_{i\cdot }^2-dis{t}_{j\cdot }^2+dis{t}_{\cdot \cdot }^2)\end{array}$$

对$B$做特征值分解
$$B=V\Sigma V^T$$
$$\Sigma =diag({\lambda }_1,{\lambda }_2\dots {\lambda }_d)$$
$${\Sigma }_{\ast }=diga({\lambda }_1,{\lambda }_2\dots {\lambda }_{d^{\ast }}),{\lambda }_1>{\lambda }_2>\cdots {\lambda }_{d^{\ast }}>0$$
$V_{\ast }$是对应的特征向量组成的矩阵，那么
$$Z={\Sigma }_{\ast }^{1/2}{V}_{\ast }^T\in R^{d^{\ast }\times m}$$
实际上，我们使用$d^{\prime }\ll d$特征值矩阵$\tilde{\Sigma }=diag({\lambda }_1,{\lambda }_2\dots {\lambda }_{d^{\prime }})$
$$Z={\tilde{\Sigma }}^{1/2}{\tilde{V}}^T\in R^{d^{\prime }\times m}$$

MDS算法过程

输入：距离矩阵$D\in R^{m\times m}$，低维空间维度$d^{\prime }$

算法过程：

• $dis{t}_{i\cdot }^2,dis{t}_{\cdot j}^2,dis{t}_{\cdot \cdot }^2$
• 计算$B=(b_{ij})$
• 对$B$做特征值分解
• $\tilde{\Sigma }$是包含$d^{\prime }$最大特征值的对角矩阵，$\tilde{V}$是特征向量组成的矩阵.

输出：${\tilde{\Sigma }}^{1/2}{\tilde{V}}^T\in R^{d^{\prime }\times m}$