深度学习进行领域适应(Domain Adaptation)开山之作

来自:SimpleAI
深度学习进行领域适应(Domain Adaptation)开山之作_第1张图片

  • 论文标题:Domain Adaptation for Large-Scale Sentiment Classification: A Deep Learning Approach

  • 会议/期刊:ICML-2011

  • 团队:Bengio那一伙儿


Domain adaptation的定义: 训练和测试在不一样的分布上的问题,就是领域适应问题。

常见场景: 在一个source domain上训练,但是需要部署到另一个domain上。

本文主要思想: 使用非监督式的深度学习方法,提取文本的高层次特征,然后使用这些特征进行分类。

一段话概括全文:

情感分类任务适用于多个领域,比如对图书的评论,对电影的评论,对电子产品的评论等等,针对不同的领域,都可以使用“积极”或“消极”来作为评论的标签。现在的场景是在一个领域上训练了一个情感分类模型,能否很好地在另一个领域进行预测?本文的主要想法是,先通过多层自编码器(Stacked Auto-encoder)对评论文本(各个领域的无标签数据)进行非监督训练,得到的编码器可以提取出评论文本的高层次特征(即可以用来转化原始文本),然后使用SVM进行分类。实验表明这种方法相比于传统的方法,使用auto-encoder转化后的特征可以训练出更好的模型,迁移到另一个领域的损失大大降低。

论文要点一览:

1. 数据集

本文使用了一个Amazon的商品评论数据集,分为大小两个版本,大的分布不均衡,小的人为构造的类别均衡。同时还有很多的无标签数据,可用于进行非监督训练。深度学习进行领域适应(Domain Adaptation)开山之作_第2张图片

2. 使用多层降噪自编码器来训练特征提取器

Stacked Denoising Auto-encoder(SDA)这个玩意儿,主要就是“压缩-解压”网络,训练的过程就是要让解压后的重构损失最小。简单地可以表示为r(x) = g(h(x)),然后最小化loss(x, r(x))。因此,auto-encoder的训练完全可以是无监督的,自己训练自己,挺有意思的。

深度学习进行领域适应(Domain Adaptation)开山之作_第3张图片

训练完后的auto-encoder,可以单独拿其encoder的部分,作为一个特征提取器(或者降维工具),提取样本的重要特征。

3. 本文提出的是一个two-step的方法

  • 第一步是通过SDA来对数据特征进行转化;

  • 第二步是对转化后的特征,使用常用的模型(比如本文中的SVM)进行分类。

4. in-domain error,transfer error和transfer loss

这些都是为了评价各种方法/模型在domain adaptation上的效果。

  • in-domain error :在target领域上训练和测试的test error. 然后使用baseline模型的test error,记为

  • transfer error :在source S上训练,然后在target domain上进行测试的test error

  • transfer loss : ,就是transfer error减去本身在target上就有的一个误差。这样就消去了target domain本身的影响。

下图展示了实验结果,其中SDA就是文本的方法。可以看出其transfer loss基本都是最低的。有几个甚至是负值,说明了在那些任务上,transfer的error,比原本的in-domain的error都要低。(虽然这种做法我并不认为这能说明什么,因为 是使用原始的特征进行测试的,而SDA是使用转化后的特征)深度学习进行领域适应(Domain Adaptation)开山之作_第4张图片

5. 通过SDA的转化,两个domain之间的A-distance反而拉大了。所以按照一些理论,transfer的效果应该更差,但是论文的实验结果表明transfer的预测效果是更好的。

这是一个值得探究的地方,差点让这个论文自相矛盾。

所谓的A-distance是一个衡量两个分布之间相似度的一个指标。如下图所示:横坐标是经过转化后的A-dist,纵坐标是原始的A-dist,各个点就是各种不同的迁移任务。这些点都在对角线的右下方,说明A-dist在经过SDA转化后变大了。

深度学习进行领域适应(Domain Adaptation)开山之作_第5张图片

针对这种尴尬的状况,作者的解释是,是不是因为SDA把原本特征中,领域相关的特征(domain-specific info)与情感极性的特征(sentiment polarity info)给解耦了,也就是把“通用的”特征和“个性化”的特征给分开了,相当于把那些的个性的、特殊的特征更加突出了,因此不同domain的特征就更不相似了(解释的好牵强???)。

为了验证作者的这个猜想,他们继续做了一些实验,即想办法挑出情感分类任务和领域识别任务中的那些重要特征,看看这些特征在两种不同的任务上的重叠程度。提取重要特征则是通过使用L1正则项的SVM来完成(L1范数常用于训练一个稀疏的模型,从而得到最重要的那些特征)。实验结果见下面这个热力图:

深度学习进行领域适应(Domain Adaptation)开山之作_第6张图片

这个图上的每个点代表,有多少的特征,被m个domain recognition任何和n个sentiment classification任务同时使用。同时使用的越多,说明特征越耦合在一块儿。图中左下方亮度越高,就代表耦合程度越低。因此经过SDA转化之后的特征,确实降低了特征耦合的程度。

后记:

这个文章,毕竟是2011的工作,不能拿2021的视角来看,否则看完之后一定会问,这里用SDA进行特征提取有啥好的?用一个预训练好的bert难道不是更好吗?而且这个还是无监督的,分两步的,所以无论从精确程度还是方便程度,都其实一般般。但这个工作,在2011年这个深度学习还没有被广泛应用的年代,依然是开创性的,让人看到了深度学习模型的种种可能,比如强大的特征提取能力,这一点在文章最后探究特征解耦的这一块尤其让人感到惊讶。在这篇文章之后,诞生了许许多多使用深度学习方法进行domain adaptation的工作,所以,也是开启了一扇重要的门了。


说个正事哈

由于微信平台算法改版,公号内容将不再以时间排序展示,如果大家想第一时间看到我们的推送,强烈建议星标我们和给我们多点点【在看】。星标具体步骤为:

(1)点击页面最上方深度学习自然语言处理”,进入公众号主页。

(2)点击右上角的小点点,在弹出页面点击“设为星标”,就可以啦。

感谢支持,比心

投稿或交流学习,备注:昵称-学校(公司)-方向,进入DL&NLP交流群。

方向有很多:机器学习、深度学习,python,情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。

深度学习进行领域适应(Domain Adaptation)开山之作_第7张图片

记得备注呦

点击上面卡片,关注我呀,每天推送AI技术干货~

整理不易,还望给个在看!

你可能感兴趣的:(机器学习,人工智能,深度学习,自然语言处理,计算机视觉)