邱锡鹏 神经网络与深度学习课程【十三】——无监督学习和概率图模型1

无监督学习

定义：只从无标签的数据中学习出一些有用的模式

典型的无监督学习：深度学习中只考虑前两个问题即可

无监督特征学习：

主成分分析（Principal Component Analysis PCA） 一种最常用的数据降维方法，使得在转换后的空间中数据的方差最大

 (线性)编码

给定一组基向量A=[a_1, ..... , a_m] 将输入样本x表示为这些基向量的线性组合

 完备性和稀疏编码：

过完备基向量是指：基向量个数远远大于其支撑空间维度，因此这些基向量一般不具备独立、正交等性质

稀疏编码：找到一组“过完备”的基向量(即M>D) 来进行编码 ，这样有无穷多解，找到大多数为0，少数有值的向量 具有压缩性

 求稀疏编码: 还是利用GD的方式来求解

 训练方法:使用交替优化的方法进行

 优点：

自编码器(Auto-Encoder)：

编码器和解码器

稀疏自编码器：

 降噪自编码器：

概率密度估计

分为：

参数密度估计

正态分布

 多项分布

 参数密度估计一般存在的问题：

非参数密度估计

计算过程

 计算方法：

直方图方法：

 核密度估计：

 K近邻方法：

 小结：

 

 概率图模型1

如何表示高维随机变量的概率密度 通过发现一些变量是条件独立的 可以大大减少变量的数量

当参数很多的时候，使用数学公式表示并不直观，所以需要图模型来表示。

概率图模型：

定义：概率图模型是指一种用图结构来描述多元随机变量之间的条件独立关系的概率模型

 分类

模型表示：

有向图 贝叶斯网络 信念网络

有向图的概念

 例子：

 判断两个变量是否为条件变量 ：局部马尔可夫性质

 条件独立性：