[半监督学习] Combining Labeled and Unlabeled Data with Co-Training

论文地址: Combining Labeled and Unlabeled Data with Co-Training
会议: COLT 1998
任务: 分类

A FORMAL FRAMEWORK

定义一个实例空间 $X=X_1\times X_2$, 其中 $X_1$, $X_2$ 对应于同一实例的两个不同"视图". 实例里的每个 $x$ 都以成对的形式 $(x_1,x_2)$ 给出. 假定每个视图都能进行正确的分类.

具体来讲, 定义 $\mathcal{D}$ 是 实例$X$ 上的分布空间, 并且定义 $C_1,C_2$ 分别是在 $X_1,X_2$ 上的分类器. 假设在分布空间 $\mathcal{D}$ 下具有非零概率的实例上的所有标签都与某个目标函数 $f_1\in C_1$ 一致，并且也与某些目标函数 $f_2\in C_2$ 一致, 也就是说, 如果 $f$ 表示整个实例中的组合目标概念，那么对于任何使用标签 $l$ 观察到的实例$x=(x_1,x_2)$，我们有 $f(x)=f_1(x_1)=f_2(x_2)=l$. 那么这就意味着 $\mathcal{D}$ 将概率为零分配给任何实例$(x_1,x_2)$, 会使得 $f_1(x_1)\ne f_2(x_2)$.

PAC supervised learning setting
对于给定在 $X$ 上的分布 $\mathcal{D}$, 如果它满足: $\mathcal{D}$ 将概率零分配给 $(x_1,x_2)$, 使得$f_1(x_1)\ne f_2(x_2)$, 那么我们可以认为目标函数 $f(x)=(f_1,f_2)\in C_1\times C_2$ 与 $\mathcal{D}$ “兼容”. 也就是说, 如果在我们的框架中, $f_1,f_2,\mathcal{D}$ 都是是合法的, 那么这对 $f(x)=(f_1,f_2)$ 与 $\mathcal{D}$ 是兼容的.

A BIPARTITE GRAPH

将Co-trainign中分布 $\mathcal{D}$ 视为加权二部图, 将其写为 $G_{\mathcal{D}}(X_1,X_2)$, 简写为 $G_{\mathcal{D}}$. 如上图中所示, $G_{\mathcal{D}}$ 的左侧节点对应于 $X_1$ 中的每个点, 右侧节点对应于 $X_2$ 中的每个点. 当且仅当实例$(x_1,x_2)$ 在 $\mathcal{D}$ 下具有非零概率时, 才存在边 $(x_1,x_2)$. 给该边一个等于其概率的权重. 为方便起见, 删除与概率为零的视图相对应的度数为0的顶点.

在这种表示法中, $C$ 中的"兼容"概念正是对应于此图的无交叉边分区的概念. 还可以合理地定义分区不兼容的程度, 作为它在 $G$ 中引起的切割的权重. 换句话说, 在分布 $\mathcal{D}$ 下的目标函数 $f=(f_1,f_2)$ 的兼容程度可以被定义为 $0\le p\le 1$, 且 $p=1-P{r}_{\mathcal{D}}[(x_1,x_2):f_1(x_1)\ne f_2(x_2)]$.

ROTE LEARNING

令 $C_1=2^{X_1},C_2=2^{X_2}$, 使所有划分与 $\mathcal{D}$ 保持一致, 并且有一个学习算法, 它在任何一个实例上输出"I don’t know", 注: 这个实例的标签不能从它的训练数据和兼容性假设中推断出来. 令 $X_1,X_2$ 的基数 $|X_1|=|X_2|=N$, 假设这里的 $N$ 大小为"medium size", 从这个意义上说, 收集 $O(N)$ 个未标记的实例是可行的, 但标记它们却不是.

在此情况下, 仅给出单视图(如只有 $X_1$), 为了涵盖 $\mathcal{D}$ 的大部分, 我们需要观察 $\Omega (n)$ 个标记的实例. 未知的第 $(m+1)$ 个实例的标记的错误率为:
$$\sum _{x_1\in X_1}\mathrm{P}{\mathrm{r}}_{\mathcal{D}}[x_1](1-P{r}_{\mathcal{D}}[x_1]{)}^m$$
另一方面, 如果我们有一个很大的未标记样本, 我们对每个实例的两个视图允许使用更少数量的标记样本. 假定在一个极端的情况下, 我们的未标记样本包含了 $G_{\mathcal{D}}$ 中的每一条边. 如果 $G_{\mathcal{D}}$ 中的连接部分分别为 $c_1,c_2,\dots$, 和概率$P_1,P_2,\dots$, 那么给定 $m$ 个标记示例, 第 $(m+1)$ 个实例的标记的错误率仅为:
$$\sum _{c_j\in G_{\mathcal{D}}}{P}_j(1-P_j{)}^m$$

LEARNING IN LARGE INPUT SPACES

$x_1$ 和 $x_2$ 在给定标签的情况下是条件独立的. 即给定标记时每个属性集都条件独立于另一个属性集.
$$\mathrm{P}{\mathrm{r}}_{({\mathrm{x}}_1,{\mathrm{x}}_2)}\in \mathcal{D}[x_1={\hat{x}}_1|x_2={\hat{x}}_2]=P{r}_{(x_1,x_2)\in \mathcal{D}}[x_1={\hat{x}}_1|f_2(x_2)=f_2({\hat{x}}_2)]$$
$$\mathrm{P}{\mathrm{r}}_{({\mathrm{x}}_1,{\mathrm{x}}_2)}\in \mathcal{D}[x_2={\hat{x}}_2|x_1={\hat{x}}_1]=P{r}_{(x_1,x_2)\in \mathcal{D}}[x_2={\hat{x}}_2|f_1(x_1)=f_1({\hat{x}}_1)]$$
Theorem 1: 给定初始化弱分类器 $C_1$, 如果 $C_2$ 满足条件独立性假设且是可学习的, 则 Co-training 能从未标记的数据中学习出分布 $(C_1,C_2)$. 条件独立假设意味着统计查询模型中任何可学习的分类器都可以从未标记的数据和初始弱有用的预测器中学习.

在标准分类噪声模型上定义一个变量, 其中正实例上的噪声率可能不同于负实例上的噪声率. 假设分类噪声率 $(\alpha ,\beta )$ 定义如下: 真阳性实例被错误标记的概率为 $\alpha$; 真阴性实例被错误标记的概率为 $\beta$.

Lemma 1: 如果分类器 $C$ 在分类噪声模型中是可学习的, 那么只要满足 $\alpha +\beta <1$ (运行时间是多项式: $\frac{1}{1-\alpha -\beta }$), 它在分类噪声 ($\alpha ,\beta )$ 中也可进行学习.

EXPERIMENTS

Co-training 算法描述如下:

• 步骤1: 定义带标签的训练集 $\mathbf{L}$ 和无标签集 $\mathbf{U}$.
• 步骤2: 从 $\mathbf{U}$ 中随机选择 $u$ 个实例来创建样本缓冲池 ${\mathbf{U}}^{\prime }$. $\mathbf{U}=\mathbf{U}\backslash {\mathbf{U}}^{\prime }$.
• 步骤3: 分别考虑 $x=x_1\times x_2$ 里的 $x_1$ 和 $x_2$, 使用 $\mathbf{L}$ 训练出分类器 $h_1$ 和 $h_2$.
• 步骤4: 用 $h_1$ 对 ${\mathbf{U}}^{\prime }$ 中所有元素进行标记, 从中选出置信度高的 $p$ 个正标记和 $n$ 个负标记, $h_2$ 同理. ${\mathbf{U}}^{\prime }={\mathbf{U}}^{\prime }\backslash \{{{\mathbf{U}}_{\mathbf{p}}}^{\prime }\cup {{\mathbf{U}}_{\mathbf{n}}}^{\prime }\}$.
• 步骤5: 将这些标记实例加入到 $L$ 中, 即 $h_1$ 选出的 $p+n$ 个标记实例加入到 $x_2$ 中, $h_2$ 选出的 $p+n$ 个标记实例加入到 $x_1$ 中. 再随机从 $\mathbf{U}$ 中选择 $2p+2n$ 个样本到 ${\mathbf{U}}^{\prime }$ 中.
• 步骤3到步骤5迭代 $k$ 次.

Notice:

1. 构造 pool 的目的是为了减少每轮计算置信度的次数.
2. 这里是二分类, 如果在 $n$ 分类情况下, 每个分类器选择 $n_1,n_2,\dots$ 个标记.

在该实验中 $h_1$ 和 $h_2$ 均使用朴素贝叶斯算法进行训练, 算法参数设置为 $p=1,n=3,k=30$ 和 $u=75$. 实验结果如下: