比监督学习做的更好：半监督学习

作者：Andre Ye

编译：ronghuaiyang

导读

为什么半监督学习是机器学习的未来。

监督学习是人工智能领域的第一种学习类型。从它的概念开始，无数的算法，从简单的逻辑回归到大规模的神经网络，都已经被研究用来提高精确度和预测能力。

然而，一个重大突破揭示了添加“无监督数据”可以提高模型泛化和性能。事实上，在非常多的场景中，带有标签的数据并不容易获得。半监督学习可以在标准的任务中实现SOTA的效果，只需要一小部分的有标记数据 —— 数百个训练样本。

在这个我们对半监督学习的探索中，我们会有：

1. 半监督学习简介。什么是半监督学习，它与其他学习方法相比如何，半监督学习算法的框架/思维过程是什么？

2. 算法：Semi-Supervised GANs。与传统GANs的比较，过程的解释，半监督GANs的性能。

3. 用例和机器学习的未来。为什么半监督学习会有如此大的需求，哪里可以应用。

半监督学习介绍

半监督学习算法代表了监督和非监督算法的中间地带。虽然没有正式定义为机器学习的“第四个”元素(监督、无监督、强化)，但它将前两个方面结合成一种自己的方法。

这些算法操作的数据有一些标签，但大部分是没有标签的。传统上，人们要么选择有监督学习的方式，只对带有标签的数据进行操作，这将极大地减小数据集的规模，要么，就会选择无监督学习的方式，丢弃标签保留数据集的其余部分，然后做比如聚类之类的工作。

这在现实世界中是很常见的。由于标注是很昂贵的，特别是大规模数据集，特别是企业用途的，可能只有几个标签。例如，考虑确定用户活动是否具有欺诈性。在100万用户中，该公司知道有1万用户是这样的，但其他9万用户可能是恶意的，也可能是良性的。半监督学习允许我们操作这些类型的数据集，而不必在选择监督学习或非监督学习时做出权衡。

一般来说，半监督学习算法在这个框架上运行：

1. 半监督机器学习算法使用有限的标记样本数据集来训练自己，从而形成一个“部分训练”的模型。

2. 部分训练的模型对未标记的数据进行标记。由于样本标记数据集有许多严重的限制(例如，在现实数据中的选择偏差)，标记的结果被认为是“伪标签”数据。

3. 结合标记和伪标签数据集，创建一个独特的算法，结合描述和预测方面的监督和非监督学习。

半监督学习利用分类过程来识别数据资产，利用聚类过程将其分成不同的部分。

算法：Semi-Supervised GAN

半监督的GAN，简称为SGAN，是[生成对抗网络](https://medium.com/analytics-vidhya/gans-for-one -an-直觉解释-革命概念-2f962c858b95)架构的一个变体，用于解决半监督学习问题。

在传统的GAN中，判别器被训练来预测由生成器模型生成的图像是真实的还是假的，允许它从图像中学习判别特征，即使没有标签。尽管大多数人通常在GANs中使用训练很好的生成器，可以生成和数据集中相似的图像，判别器还是可以通过以转移学习作为起点在相同的数据集上建立分类器，允许监督任务从无监督训练中受益。由于大部分的图像特征已经被学习，因此进行分类的训练时间和准确率会更好。

然而，在SGAN中，判别器同时接受两种模式的训练：无监督和监督。

• 在无监督模式中，需要区分真实图像和生成的图像，就像在传统的GAN中一样。

• 在监督模式中，需要将一幅图像分类为几个类，就像在标准的神经网络分类器中一样。

为了同时训练这两种模式，判别器必须输出1 + n个节点的值，其中1表示“真或假”节点，n是预测任务中的类数。

在半监督GAN中，对判别器模型进行更新，预测K+1个类，其中K为预测问题中的类数，并为一个新的“假”类添加额外的类标签。它涉及到同时训练无监督分类任务和有监督分类任务的判别器模型。整个数据集都可以通过SGAN进行传递 —— 当一个训练样本有标签时，判别器的权值将被调整，否则，分类任务将被忽略，判别器将调整权值以更好地区分真实的图像和生成的图像。

虽然允许SGAN进行无监督训练，允许模型从一个非常大的未标记数据集中学习非常有用的特征提取，但有监督学习允许模型利用提取的特征并将其用于分类任务。其结果是一个分类器可以在像MNIST这样的标准问题上取得令人难以置信的结果，即使是在非常非常少的标记样本(数十到数百个)上进行训练。

SGAN巧妙地结合了无监督和监督学习的方面，强强联合，以最小的标签量，产生难以置信的结果。

用例和机器学习的未来

在一个可用数据量呈指数级增长的时代，无监督数据根本不能停下来等待标注。无数真实世界的数据场景会像这样出现 —— 例如，YouTube视频或网站内容。从爬虫引擎和内容聚合系统到图像和语音识别，半监督学习被广泛应用。

半监督学习将监督学习和非监督学习的过拟合和“不拟合”倾向(分别)结合起来的能力，创建了一个模型，在给出最小数量的标记数据和大量的未标记数据的情况下，可以出色地执行分类任务。除了分类任务，半监督算法还有许多其他用途，如增强聚类和异常检测。尽管这一领域本身相对较新，但由于在当今的数字领域中发现了巨大的需求，算法一直在不断地被创造和完善。

半监督学习确实是机器学习的未来。

英文原文：https://towardsdatascience.com/supervised-learning-but-a-lot-better-semi-supervised-learning-a42dff534781

下载一：中文版！学习TensorFlow、PyTorch、机器学习、深度学习和数据结构五件套！

后台回复【五件套】
下载二：南大模式识别PPT

后台回复【南大模式识别】

说个正事哈

由于微信平台算法改版，公号内容将不再以时间排序展示，如果大家想第一时间看到我们的推送，强烈建议星标我们和给我们多点点【在看】。星标具体步骤为：

（1）点击页面最上方“深度学习自然语言处理”，进入公众号主页。

（2）点击右上角的小点点，在弹出页面点击“设为星标”，就可以啦。

感谢支持，比心。

投稿或交流学习，备注：昵称-学校（公司）-方向，进入DL&NLP交流群。

方向有很多：机器学习、深度学习，python，情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。

记得备注呦

推荐两个专辑给大家：

专辑 | 李宏毅人类语言处理2020笔记

专辑 | NLP论文解读

专辑 | 情感分析

整理不易，还望给个在看！