机器学习与深度学习系列连载： 第一部分 机器学习（十三）半监督学习（semi-supervised learning）

在实际数据收集的过程中，带标签的数据远远少于未带标签的数据。 我们据需要用带label 和不带label的数据一起进行学习，我们称作半监督学习。

• Transductive learning：没有标签的数据是测试数据
• Inductive learning：没有标签的数据不是测试数据
  
  为什么没有标签的数据会帮助我们学习呢？ 是因为没有标签数据的分布可能会告诉我们一些潜在的规律。

1.半监督生成模型 Semi-supervised Learning for Generative Model

我们回忆一下监督学习的生成模型，计算先验概率，然后通过概率模型估计，计算分类概率。

是不是也有半监督的概率生成模型？答案是可以。

没有标记的数据帮助我们重新评估的$P(C_i)$ 和$P(x|C_i)$等分布数据

• 寻找概率最大的$P(C_i)$ 和$P(x|C_i)$
• $P(x|C_i)$ 符合高斯分布
  
  算法流程如下，但是最后的结果与初始值的初始化有关系，结构和EM算法类似
  
  需要综合考虑有标记数据的max likelihood和没有标记数据的max likelihood

2. 低密度分割 Low-density Separation

大原则：非黑即白
（1）自训练 Self-training


（2）基于熵的估计 Entropy-based Regularization
我们估计的分布函数，如何衡量他的好坏

所以我们让他越小越好：

考虑到了Entropy因素，Loss函数最后可以写成

（3）半监督的SVM （Semi-supervised SVM）
semi-SVM 中，我们假设没有标签的数据可以任意标注（计算复杂风度高）

我们取margin 最大的和error最小的

3. 平滑性假设 Smoothness Assumption

近朱者赤，近墨者黑

假设：相似的x 有着相同的分类

• x 并不是uniform 统一的
• 如果$x_1$和$x_2$在高密度区域中相似，那么他们的结果也就$y_1$和$y_2$一致

（1）聚类，然后标注 Cluster and then Label

（2）以图为基础的方法 Graph-based Approach

很显然，当图中的点能走通，说明是一类。
创建图的方法（ Graph Construction）：

• 定义$x_i$和$x_j$的相似度s($x_i$,$x_j$)
• 加入边edge
  K Nearest Neighbor
  e-Neighborhood
  
  • edge 的权重 与s($x_i$,$x_j$)称比例

s($x_i$,$x_j$)一般表示为Gaussian Radial Basis Function:：

• 定义图的平滑程度 Define the smoothness of the labels
  s 越小越平滑：
  
  如果我们定义s为：
  
  

4. Better Representation

去芜存菁，化繁为简 具体内容我们再降维的章节介绍。（下一节）

本专栏图片、公式很多来自台湾大学李弘毅老师、斯坦福大学cs229，斯坦福大学cs231n 、斯坦福大学cs224n课程。在这里，感谢这些经典课程，向他们致敬！