【学习】无监督学习、PCA、Matrix Factorization、HAC、K-means、分布式表示、NE、LLE、 t-SNE

---

一、无监督学习

聚类或者维度reduction化繁为简：输入是图片，输出是简单的图片，只有输入数据

generation生成：输入code输出图片，只有输出数据（图片）

clustering

1、K-means

将X = {x1，…，xn，…，xN}聚类成K个聚类，初始化聚类中心cⁱ，i=1，2，…K (K从X随机xⁿ)

2、HAC

根据相似度进行计算。

分布式表示

聚类:一个对象必须属于一个聚类，但是它不止属于一个类别，应该还有别的属性，所以我们用分布式表达更好一点。降维：把高维的东西用低纬度表示。

线性降维

二维就能表示这个三维分布。

在MNIST，一个数字是28 × 28维度。大多数28 × 28 维度向量不是数字，所以我们用28*28维度来表述数字的话就很浪费。只用一维就能描述数字变化：

输出z的维数会比输入x小。
方法：（1）特征选择，无关去掉。（2）PCA

3、PCA

将所有数据点x投影到w1上，得到一组z1。我们希望z1的方差尽可能大。
我们需要最大化z1的方差：

W是正交矩阵


S是半正定的(非负特征值)、对称的。w1是协方差矩阵S的特征向量，a对应于最大特征值λ1。使用拉格朗日乘数。

w2是协方差矩阵S的特征向量，对应于第二大特征值λ2.S是对称的


D是对角矩阵，有利于简化模型，避免过拟合。
W是正交矩阵，e1是只有第一维是1，其他都是0的一维向量。





SVD：

U的k列:对应于XXT的k个最大特征值的一组正交本征向量。这样解出来的L是最小的。U就是PCA的解。

PCA看起来像具有一个隐藏层(线性激活函数)的神经网络：自动编码器。
如果{w1，w2，…wK}是分量{u1，u2，…UK}，根据SVD已经找到W，那么ck最大的就是做内积：


这个是auto-encoder。
事实上，PCA找出的解是正交矩阵，用NN找比较麻烦。但是NN可以是叠很多层的。

弱点

PCA是无监督的，这样可能会 把两个类别混在一起；PCA是线性的。

应用

由这些成分可以线性组成所有数字

a可以是任何实数PCA包括一些成分的加减(图片)，那么部件可能不是“数字的一部分”。得到类似笔画的东西：NMF，所有的组件的权重a都是正的，所有的组件的维度也是正的。



NMF得到的更像是“组件”。

矩阵分解Matrix Factorization

这些可能性分布不是所有都是随机的，他们都有些共同因素来操控的。

如果动漫人物背后的属性跟人是匹配的，那就很可能有。


我们有的只有拥有数字：

上面可以用SVD解。
假如有些信息是没有的：

上面这个可以用GD梯队下降解决。忽略没有的值，最小化L

假设潜变量K=2；

那就可以预测？的内容，做完内积之后：

考虑到个人特点：
bA:宅男A喜欢买的数字
b1:角色1有多受欢迎
可以用GD解决。

LSA：
检索词频率(按逆文档频率加权)

无监督学习:邻居嵌入NE

Manifold Learning

降维之后：就能用欧式几何距离计算距离。

LLE

从xi变成zi之后他们的wij是不变的。

最小化这个


LLE没有明确说用什么方程来降维（从x变到z，z好像是凭空生成的）。当距离进的时候，欧几里得距离适用。

拉普拉斯特征映射

维数减少:如果x1和x2在高密度区域中接近，则z1和z2是彼此最接近的。z是特征值。

t-SNE

前面的假设是相近的是一起的，但是不同的不一定是分开的。

用KL散度计算两个分布之间的相似度，希望这个值越小越好。

然后做GD就行了。因为计算所有的维度的相似度，所以计算量大。
相似度方法

维持距离：距离小的小，距离大的变化之后会变大