特征抽取篇之LLE(Locally Linear Embedding)

前言

与等度量映射（Isomap）相同，局部线性嵌入（Locally Linear Embedding, 简称LLE）也是流形学习算法中的一员，是一种非线性的降维方法。LLE在2000年被发明出来，并发表在Sience期刊上，截止2019年5月，被引量高达1.3万。它与Isomap试图保持样本间的距离不同，LLE算法试图保持的是邻域内样本之间的线性关系。如下图所示：

如图，高维空间中样本$x_i$可由它的近邻样本${\mathbf{x}}_j$，${\mathbf{x}}_k$，${\mathbf{x}}_l$通过线性组合而重构出来，即
$${\mathbf{x}}_i=w_{ij}{\mathbf{x}}_j+w_{ik}{\mathbf{x}}_k+w_{il}{\mathbf{x}}_l(1)$$
LLE算法希望式(1)中的关系在低维空间中得以保持。

算法推导

LLE先为每个样本$x_i$找近邻下标集合$Q_i$，然后计算基于$Q_i$中的样本点对$x_i$进行线性重构的系数$w_i$，优化目标为重构误差最小：
$$\begin{array}{rl}\underset{\mathbf{W}}{\min }& \sum _{i=1}^m\Vert {\mathbf{x}}_i-\sum _{j\in Q_i}{w}_{ij}{\mathbf{x}}_j{\Vert }_2^2(2)\\ s.t.& \sum _{j\in Q_i}{w}_{ij}=1\end{array}$$
转换为
$$\begin{array}{rl}\sum _{i=1}^m\Vert {\mathbf{x}}_i-\sum _{j\in Q_i}{w}_{ij}{\mathbf{x}}_j{\Vert }_2^2& =\sum _{i=1}^m\Vert \sum _{j\in Q_i}{w}_{ij}{\mathbf{x}}_i-\sum _{j\in Q_i}{w}_{ij}{\mathbf{x}}_j{\Vert }_2^2\\ & =\sum _{i=1}^m\Vert \sum _{j\in Q_i}{w}_{ij}({\mathbf{x}}_i-{\mathbf{x}}_j){\Vert }_2^2\\ & =\sum _{i=1}^m{\mathbf{W}}_i^T({\mathbf{x}}_i-{\mathbf{x}}_j)({\mathbf{x}}_i-{\mathbf{x}}_j{)}^T{\mathbf{W}}_i\\ & =\sum _{i=1}^m{\mathbf{W}}_i^T{\mathbf{C}}_i{\mathbf{W}}_i\end{array}$$
其中，${\mathbf{W}}_i=(w_{i1},w_{i2},\cdot \cdot \cdot ,w_{ik}{)}^T$，$k$是$Q_i$集合的长度，${\mathbf{C}}_i=({\mathbf{x}}_i-{\mathbf{x}}_j)({\mathbf{x}}_i-{\mathbf{x}}_j{)}^T$，$j\in Q_i$。
$$\sum _{j\in Q_i}{w}_{ij}={\mathbf{W}}_i^T{1}_k=1$$
其中，$1_k$为k维全1向量。
运用拉格朗日乘子法可得，
$$\begin{array}{rl}J(\mathbf{W})& =\sum _{i=1}^m{\mathbf{W}}_i^T{\mathbf{C}}_i{\mathbf{W}}_i+\lambda ({\mathbf{W}}_i^T{1}_k-1)\\ \frac{\partial J(\mathbf{W})}{\partial {\mathbf{W}}_i}& =2{\mathbf{C}}_i{\mathbf{W}}_i+\lambda 1_k\end{array}$$
令$\frac{\partial J(\mathbf{W})}{\partial {\mathbf{W}}_i}=0$，故
$$\begin{array}{rl}{\mathbf{W}}_i& =-\frac{1}{2}\lambda {\mathbf{C}}_i^{-1}{1}_k\\ {\mathbf{W}}_i& =\lambda {\mathbf{C}}_i^{-1}{1}_k\end{array}$$
其中，由于$\lambda$原本为一个常数，加入$-\frac{1}{2}这个放缩因子$并无影响。利用${\mathbf{W}}_i^T{1}_k=1$，对${\mathbf{W}}_i$归一化，可得
$${\mathbf{W}}_i=\frac{{\mathbf{C}}_i^{-1}{1}_k}{1_k{\mathbf{C}}_i^{-1}{1}_k}$$
在得到高维空间样本点之间的关系之后，按照LLE的算法思想（在低维空间中保持$w_i$不变），于是$x_i$降维后的样本$z_i$应达到的优化目标如下式(2)：
$$\underset{\mathbf{Z}}{\min }\sum _{i=1}^m\Vert {\mathbf{z}}_i-\sum _{j\in Q_i}{w}_{ij}{\mathbf{z}}_j{\Vert }_2^2(3)$$
与求解$W$一样的过程：
$$\begin{array}{rl}\underset{\mathbf{Z}}{\min }\sum _{i=1}^m\Vert {\mathbf{z}}_i-\sum _{j\in Q_i}{w}_{ij}{\mathbf{z}}_j{\Vert }_2^2& =\sum _{i=1}^m\Vert \mathbf{Z}{\mathbf{I}}_i-\mathbf{Z}{\mathbf{W}}_i{\Vert }_2^2\\ & =\sum _{i=1}^m\Vert \mathbf{Z}({\mathbf{I}}_i-{\mathbf{W}}_i){\Vert }_2^2\\ & =\sum _{i=1}^m(\mathbf{Z}({\mathbf{I}}_i-{\mathbf{W}}_i){)}^T\mathbf{Z}({\mathbf{I}}_i-{\mathbf{W}}_i)\\ & =\sum _{i=1}^m({\mathbf{I}}_i-{\mathbf{W}}_i{)}^T{\mathbf{Z}}^T\mathbf{Z}({\mathbf{I}}_i-{\mathbf{W}}_i)\\ & =tr((\mathbf{I}-\mathbf{W}{)}^T{\mathbf{Z}}^T\mathbf{Z}(\mathbf{I}-\mathbf{W}))\\ & =tr(\mathbf{Z}(\mathbf{I}-\mathbf{W})(\mathbf{I}-\mathbf{W}{)}^T{\mathbf{Z}}^T)\\ & =tr(\mathbf{Z}\mathbf{M}{\mathbf{Z}}^T)\end{array}$$
其中，$\mathbf{M}=(\mathbf{I}-\mathbf{W})(\mathbf{I}-\mathbf{W}{)}^T$。
再加上约束条件${\mathbf{Z}}^T\mathbf{Z}=\mathbf{I}$，保证得到标准化（标准正交空间）的低维数据。
式(2)重写为：
$$\begin{array}{rl}& \underset{\mathbf{Z}}{\min }tr(\mathbf{Z}\mathbf{M}{\mathbf{Z}}^T)(4)\\ & s.t.{\mathbf{Z}}^T\mathbf{Z}=\mathbf{I}\end{array}$$
式(3)可以通过特征值分解求解：$M$最小的$d^{\prime }$个特征值对应的特征向量组成的矩阵即为${\mathbf{Z}}^T$。

算法步骤

输入：样本集$D=\{{\mathbf{x}}_1,{\mathbf{x}}_2,\cdot \cdot \cdot ,{\mathbf{x}}_m\}$；近邻参数$k$；低维空间维数$d^{\prime }$。
步骤：
1：for i=1,2,…,m do
2： 确定${\mathbf{x}}_i$的$k$近邻；
3： 从式(2)求得$w_{ij}$，$j\in Q_i$；
4： 对于$j\notin Q_i$，令$w_{ij}=0$；
5：end for
6：从式(3)得到$\mathbf{M}$；
7：对$\mathbf{M}$进行特征值分解；
8：return $\mathbf{M}$的最小$d^{\prime }$个特征值对应的特征向量
输出：样本集$D$在低维空间的投影$Z=\{{\mathbf{z}}_1,{\mathbf{z}}_2,\cdot \cdot \cdot ,{\mathbf{z}}_m\}$。

实验效果

调用sklearn库

"""
LLE : Locally Linear Embedding
Refercences :
[1]周志华.机器学习[M].清华大学出版社,2016:425.
[2]http://scikit-learn.sourceforge.net/dev/modules/generated/sklearn.manifold.LocallyLinearEmbedding.html

Author : Ggmatch
Date : 2019/5/14
"""
from time import time

import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D
from matplotlib.ticker import NullFormatter

from sklearn import manifold, datasets

# 制造样本
n_points = 1000
X, color = datasets.samples_generator.make_s_curve(n_points, random_state=0)
n_neighbors = 10

fig = plt.figure(figsize=(6, 4))  #画板
gs = fig.add_gridspec(1,2)  #共2副子图
ax1 = fig.add_subplot(gs[0,0], projection='3d')  #第一幅子图表示原始样本分布
ax1.scatter(X[:, 0], X[:, 1], X[:, 2], c=color, cmap=plt.cm.Spectral)

# LLE降维
n_components = 2

t0 = time()  #计时开始
Y = manifold.LocallyLinearEmbedding(n_neighbors, n_components).fit_transform(X)
t1 = time()  #计时结束
ax2 = fig.add_subplot(gs[0,1])
ax2.scatter(Y[:, 0], Y[:, 1], c=color, cmap=plt.cm.Spectral)  #第2副子图表示降维后样本分布
ax2.set_title("LLE (%.2g sec)" % (t1 - t0))
ax2.xaxis.set_major_formatter(NullFormatter())
ax2.yaxis.set_major_formatter(NullFormatter())

plt.show()

实验效果

参考文献

[1]Roweis S T, Saul L K. Nonlinear dimensionality reduction by locally linear embedding[J]. science, 2000, 290(5500): 2323-2326.
[2]周志华.机器学习[M].清华大学出版社,2016:425.
[3]http://scikit-learn.sourceforge.net/dev/modules/generated/sklearn.manifold.LocallyLinearEmbedding.html