李宏毅机器学习（二十）无监督学习Neighbor Embedding近邻嵌入

Manifold Learning

我们有时候的特征其实是低维度的放到高纬度上去，比如地球表面是2维的，但是被放到了3维空间，比如左下的S曲面，其实可以展开到2维平面上去，接下来就方便我们进一步计算分类等等

插图1

---

我们有如下几个降维方法

Locally Linear Emedding(LLE)局部线性嵌入

具体是是怎么做的呢，我们点x和周围的点xj，给xj每个点加权wij求和，使其和xi最接近，然后投影到向量zi,zj（已降维），使他们之间的关系系数还是wij。LLE我们并不一定明确其函数是如何实现降维。

插图1

我们LLE就是找到维度低的zi,zj使得投影过去的线性表示zj和zi最接近

插图2

LLE最K选几有一定要求，K太小不好，K太大了没有很近才分布到一起，最终的点还是没有很好分类

插图3

Laplacian Eigemmaps拉普拉斯特征图

我们之前讲过smoothness，2个点是否一类不是计算距离而是通过是否平滑连接到一起

插图4

我们之前讲半监督学习的时候讲过如果x1,x2在高密度区域连接，那他们很可能是有一个标签，就有了平滑度的公式，等等

插图5

我们同样可以对无监督学习采用smoothness公式，如果要求最小，但这有没有问题呢？我们让zi=zj=0不就都最小了吗，所以无监督学习我们还需要引入一些条件，如果z的维度是M维，我们希望取得N个点的空间是M维空间（即不希望N个点的空间比M维还小）。有人又会说我们半监督学习并没有这个要求啊，因为半监督学习我们引入了损失函数和平滑函数，不光由平滑函数自己决定。

我们把z求出来事实上和之前求L的特征向量一样，只不过是特征值比较小的特征向量，我们得到这样的向量再做聚类，就会叫做Spectral Clustering

插图6

接下来我们讲TSNE，我们之前的方法的确实现了将距离近的靠在了一起，但是并么有让距离远的分开，比如下图左MNIST和下图右COIL-20图片，图中的像8字的环形是图片旋转的效果。

插图7

TSNE我们计算xi，xj的相似度后除以xi和空间所有其他点相似度的和，就得到了一般化的分布，我们同样可以计算zi,zj我们就是需要他们的分布尽量一致，就需要梯度下降求，但是相似度计算量太大，我们往往开始需要先降维（比如PCA），然后再通过TSNE降维

插图8

我们知道xi,xj的相似度公式，如果是SNE，那z的相似度公式和x一致，但是TSNE采用了新的相似度公式这样有什么好处呢，我们看下图，我们x有一定的差异时，反应在z上就能很大，所以采用新的相似度公式

插图9

所以我们TSNE在MNIST和COIL-20就会有比较明显的分类效果，COIL-20有的圈圈就是图像不同旋转方向的结果

插图10