[半监督学习] Democratic Co-Learning

民主协同学习(Democratic Co-Learning), 一种单视图半监督技术. 首先在完整的标记数据 $\mathbf{L}$ 上分别训练每个模型 $m_i$, 然后模型对未标记的数据 $\mathbf{U}$ 进行预测. 如果大于一半的模型 $M$ 同意样本的标签, 则将该样本 $\{(x_i,{\hat{y}}_i)\}$ 添加到 $m_i$ 的训练集中. 重复此过程, 直到不再添加更多样本. 最终预测通过以模型的置信区间加权的绝对多数投票法得出.

论文地址: Democratic Co-Learning
会议: ICTAI 2004
任务: 分类

Democratic Co-Learning 算法

Democratic Co-Learning 也是采用单视图多学习器的策略, 像是民主投票, 以多数票的形式进行数据挑选.

定义 $\mathbf{L}$ 为标记数据集, $\mathbf{U}$ 为无标记数据集, $A_1,\dots ,A_n$ 为分类器, 每个分类器对 $\mathbf{U}$ 中的未标记数据 $x$ 预测一个类别 $c_i\in \mathcal{C}=\{c_1,\dots ,c_r\}$, 并令 $c_k$ 表示多数分类器预测一致的结果(将这些分类器的集合称为多数团体(Majoritty Group)). 将这些结果加入到 $\mathbf{L}$ 中, 然后继续进行训练, 直到满足没有可挑选的未标记数据为止. Democratic Co-Learning 算法如下图所示:

初始阶段, 初始化模型:

• 使用不同学习算法 $A_i$ 在 ${\mathbf{L}}_{\mathbf{i}}$ 上训练分类器 $H_i$.
• 使用 $H_i$ 为 $\mathbf{U}$ 上的每个示例 $x$ 预测一个标签值 $c_j$, 令 $c_k$ 为 majority prediction.

民主优先采样阶段, 选择未标记示例给专家标记, 并加入对应训练集:

• 计算 $H_i$ 在 $\mathbf{L}$ 上的 95% 置信区间 $[l_i,h_i]$ 和平均置信度 $(l_i+h_i)/2$.
• 初始化 $n$ 个 ${\mathbf{L}}^{\prime }$, 如果多数团体的平均置信值之和大于少数团体的平均置信值之和, 则将 $(x,c_k)$ 加入到 ${{\mathbf{L}}_{\mathbf{i}}}^{\prime }$ 中.

评估阶段, 评估将 ${{\mathbf{L}}_{\mathbf{i}}}^{\prime }$ 添加到 ${\mathbf{L}}_{\mathbf{i}}$ 中是否提升准确率:

• 计算 $H_i$ 在 ${\mathbf{L}}_i$ 上的 95% 置信区间 $[l_i,h_i]$, 然后分别计算在 ${\mathbf{L}}_i$, ${\mathbf{L}}_i^{\prime }$ 和 ${\mathbf{L}}_i\cup {\mathbf{L}}_i^{\prime }$ 上的错误率 $q_i$, $e_i^{\prime }$ 和 $q_i^{\prime }$.
• 如果 $q_i^{\prime }>q_i$ 则将 ${{\mathbf{L}}_{\mathbf{i}}}^{\prime }$ 添加到 ${\mathbf{L}}_{\mathbf{i}}$ 中

重复以上操作直到 ${\mathbf{L}}_1,\cdots {\mathbf{L}}_n$ 不再变化为止. 最终通过 Combine 函数返回一组分类器, Combine 算法见集成策略小节.

标签选择标准

• 当其他大多数分类器同意未标记样本 $x_i$ 的标签时, 才将该样本 $\{(x_i,c_k)\}$ 添加到分类器 $H_i$ 的训练集中.
• 多数团体中分类器的平均置信度之和大于少数团体中的平均置信度之和, 其中分类器的平均置信度为 $(l+h)/2$, $l$ 和 $h$ 由 95% 置信区间 $[l,h]$ 定义.

使用置信度加权的投票, 可以消除大多数分类器以非常低的置信度做出相同错误预测的可能性.

民主优先采样(Democratic Priority Sampling)

基于主动学习(Active Learning)的思想, 在 Democratic Co-Learning 中, 首先使用标记数据 $\mathbf{L}$ 训练 $k$ 个不同的分类器 $H_1,\dots ,H_k$. 然后, 可以使用 QBC(Query-By-Committee) 中的投票熵来选择要主动标记的示例. 但是, 我们还希望将每个分类器的置信度纳入优先级估计中, 因此, 定义了一个置信加权投票熵, 通过计算由分类器的平均置信度加权的投票熵, 将每个单独分类器的置信度纳入优先级估计中.

令 $r$ 为不同的标签的个数, $G_i(x)$ 为分类器 $H_1,\dots ,H_k$ 的集合. 定义未标记示例 $x$ 的优先级为:
$$Priority(x)=-\sum _{i=1}^r\frac{W_i(x)}{W}\log \frac{W_i(x)}{W}$$
其中:

• $W_i(x)={\sum }_{H_j\in G_i(x)}{w}_j$.
• $w_j$ 为 $H_j$ 的 95% 置信区间的平均值.
• $W={\sum }_{j=1}^k{w}_j$

将具有最高优先级标签的示例提供给专家进行标记. 然后使用更大的标记数据池重新计算假设, 并重复该过程.

tips: 主动学习(Active Learning)的大致思路就是: 通过机器学习的方法获取到那些比较"难"分类的样本数据, 让专家(人工)再次确认和审核, 然后将人工标注得到的数据再次使用学习模型进行训练, 逐步提升模型的效果, 将人工经验融入机器学习的模型中.

集成策略

为了更好的组合分类器, 除了要求每个标签的票数外, 还考虑每个单独分类器的置信度值(以 95% 置信区间的平均值衡量). 将分类器分为 $r$ 个组, 每组对应一个可能的标签, 每个组的大小为 $n$, 使用 $s=\frac{n+0.5}{n+1}$ 的 Laplace 校正来避免在组规模太小时导致的投票频率为零和偏向0.5的投票加权. 具有最高discounted confidence value的分类器组用于预测示例. 当组内分类器的置信度方差较大时, 上述调整可能无效. 因此, 忽略任何置信度值小于 50% 的分类器, Combine 算法如下图所示:

• 1.计算 $H_i$ 在 $\mathbf{L}$ 上的 95% 置信区间 $[l_i,h_i]$ 和平均置信度 $w_i=(l_i+h_i)/2$.
• 2.对于每个示例 $x$, 如果 $H_i(x)$ 的预测 $w_i>0.5$, 则将 $H_i$ 添加到分组 $G_j$ 中.
• 3.计算每个分组 $G_j$ 的平均置信均值 ${\overline{C}}_{G_j}$, 并使用 Laplace 进行校正.
• 4.选择最大 ${\overline{C}}_{G_j}$ 对应的组 $G_k$, 得到最终分类器组合 $H_i\in G_k$.