李宏毅机器学习——学习笔记（14） Unsupervised Learning-Neighbor Embedding

1. Manifold Learning （流型学习）：将流型空间降维后，可以直接用普通方法进行邻居embedding。
2. Locally Linear Embedding（LLE）：运用样本x邻居的线性组合来表示样本x，样本x降维后所形成的z仍然基于原来的权重，用邻居的线性组合来表示。
   
   首先在原来的空间中找到w，在降维以后的空间中，固定住w，找出一组z，最小化邻居表示样本的误差。
   
   这个方法比较重要的超参数，就是邻居的数目。
   
3. Laplacian Eigenmaps（拉普拉斯特征映射）：基于图来定义样本之间的distance，如果两者之间相近，那两者之间应该的label应该相似。
   
   (1)假设unsupervised learning，不用考虑前者有监督的loss情况，只考虑后者降维loss的话。所有给降维后的z一些constraints，z的线性组合应该能够填满整个降维后的空间。

上述两者方式，都只是要求原来相近的点，在降维以后也保持相近。但是这样的话，无法保证在原来的空间中，不相近的点，在降维后的空间中也距离较远。
4. T-distributed Stochastic Neighbor Embedding（t-SNE）：把高维的点做低维视觉化，计算原来空间中样本之间的相似度，计算样本x_j是样本x_i邻居的概率。最终找出降维后的样本点z的集合保证两者之间的分布足够相近。因为用的是概率，所以scale的影响不大；除此以外，能够保证相距较远的样本点，在降维后的空间中也距离较远。方程的求解方式就是gradient descent。

5. t-SNE和SNE不同点在于求解样本之间的相似度的方式不同：t-SNE将样本之间的距离放大