机器学习第13章（半监督学习）

13.1 未标记样本

如果有标记样本的个数太少，则由于训练不足，学得模型的泛化性能往往不见。

active learning主动学习，其目标是使用尽量少的query查询来获得较好的性能。

未标记样本虽然没有直接包含标记信息，但其来源也是和其他有标记样本一样，来自于独立同分布的采样。

13.2 生成式方法

Generative methods是直接基于生成式模型的方法，此类方法假设所有数据都是由一个潜在的模型生成的。

13.3 半监督SVM

Semi-Supervised Support Vector Machine，简称S3VM是支持向量机在半监督学习上的推广。在不考虑未标记样本时，支持向量机试图找到最大间隔划分超平面，而在考虑未标记样本后，S3VM试图找到能将两类有标记样本分开，且穿过数据低密度区域的划分超平面。

13.4 图半监督学习

给定一个数据集，我们可将其视为一个图，数据集中每个样本对应于图中一个节点，若两个样本之间的相似度很高，则对应的结点之间存在一条边，边得强度正比于样本之间的相似度。

图半监督学习方法在概念上比较清晰，但该类方法在处理大规模数据集时效果不佳。若样本数为O(m)，则其对应的矩阵规模为O(m2)；另一方面，由于构图过程仅能考虑训练样本集，难以盼知新样本在图中的位置，因此，在接受到新样本时，或是将其加入原数据集，对图进行重构并重新进行标记传播，或是需引入额外的预测机制。

13.5 基于分歧的方法

disagreement-based methods使用多学习器，而学习器之间的disagreement分歧对未标记数据的利用至关重要。

13.6 半监督聚类

聚类任务中获得的监督信息大致有两类，一类是must-link，一类是cannot-link。must-link是指样本必属于同一个簇，后者是指样本必不属于同一个簇。