NUS提出全新学习范式！不利用数据样本，仅依靠预训练好的分类器来得到生成器...

❓ 预训练神经网络分类器只能用于分类任务么？

❌ 不。预训练分类器的 backbone 早已被应用于分割，检测等诸多其他任务。

❓ 那，预训练神经网络分类器可以用于判别以外的任务么？

❓ 预训练神经网络分类器中存储的信息足够支撑生成器的训练么？

❓ 从预训练分类器得到生成器是可行的么？

✔️ 是的。我们的研究证明，这些问题的答案是肯定的。

概要

本文研究的任务是：不利用数据样本，仅仅依靠一个预先训练好的分类器，训练一个生成器。这一问题类似于寻找分类函数的反函数，把原来从样本到标签的过程，逆转为从标签到样本的过程。

文章基于梯度下降的最大边际偏差理论（Maximum-Margin Bias of gradient descent），提出了一种新的学习范式。训练的目标是得到一个生成器，并且保证如果使用这个生成器所生成的数据训练分类器，分类器的收敛条件能够得到满足。

论文题目：

Generator Born from Classifier

论文作者：

Runpeng Yu, Xinchao Wang

作者单位：

新加坡国立大学

论文地址：

http://arxiv.org/abs/2312.02470

从分类器到生成器

Two Branches: 机器学习研究主要分为两个不同的分支：预测任务和生成任务。对于给定的输入 和标签 ，预测任务主要关注于训练高性能的分类器或回归器，以近似 ，而生成任务旨在训练能够从 或 中采样的生成模型。预测模型与生成模型之间的差距主要源于预测模型缺乏关于边缘分布 的信息。因此，如果不能够从一个预训练的分类器中得到边缘分布的信息，那么从分类器到生成器的转化就是不可能实现的。

A Possibility: 在深度神经网络领域，过度参数化导致了对训练分布的过拟合和对训练样本的记忆，因此训练好的分类网络其实隐式地保留了关于 的信息。那么，为了实现从一个分类器到生成器的转化，就需要找到一种方法来提取这些隐式存储下来的有关 的信息。

One Method: 我们的方法基于梯度下降的最大边际偏差理论（Maximum-Margin Bias of gradient descent）。该理论表明，给定一个数据集，通过梯度下降训练的神经网络参数会收敛到特定优化问题的解。

这个优化问题解的条件就形成了一组描述预训练神经网络参数和训练数据分布之间关系方程。神经网络的训练过程就是给定数据分布，根据方程求解神经网络参数的过程。从分类到生成器的任务就给定神经网络参数，根据方程求解数据分布的过程。

训练目标

把由最大边际偏差理论得到的方程，转化为损失函数，就可以用于训练生成器了。最后得到的优化目标主要有两项：

这两项分别由最大边际偏差理论得到的优化问题的 KKT 条件中的 stationarity 项和 duality 项转化而来。 是生成器的参数， 和 是两个额外的需要学习的参数。这个优化目标要求：一方面，生成器 保证在其生成的数据分布下，预训练的分类器能够表现良好；另一方面，生成器 同时确保在其生成的数据分布下，当前的分类器参数是梯度下降算法的收敛点。

由于原始数据分布天然满足以上两个条件，我们期待这个损失函数将引导生成器去近似原始的数据分布。

实验结果

4.1 二维数据

我们首先在一个简单的二维例子上验证以上损失函数的性能。我们在单位圆上均匀生成 18 个数据点，并将它们分为三类作为训练数据集 。利用 ，我们训练了一个三层全连接网络 作为分类器。在给定 的情况下，我们使用所提出的损失函数训练生成器。尽管存在一定的噪声，生成数据的分布与分类器的训练数据分布始终保持一致。

4.2 MNIST 数据集

我们也在 MNIST 数据集上做了进一步的验证。下图奇数行展示的是生成的图像，偶数行展示的是与生成图像最接近的训练数据集中的图像。尽管从未接触过数字图像，我们方法训练出的生成器也能够生成出可识别的数字。

更多阅读

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

 投稿通道：

• 投稿邮箱：[email protected] 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

△长按添加PaperWeekly小编

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

·

·