深度学习基础----自监督学习入门
自监督学习初探
一.自监督学习的解释:
解释一: 自监督学习让我们能够没有大规模标注数据也能获得优质的表征，反而我们可以使用大量的未标注数据并且优化预定义的 pretext 任务。然后我们可以使用这些特性来学习缺乏数据的新任务。
解释二: self-supervised learning 是无监督学习里面的一种，主要是希望能够学习到一种通用的特征表达用于下游任务。其主要的方式就是通过自己监督自己，比如把一段话里面的几个单词去掉，用他的上下文去预测缺失的单词，或者将图片的一些部分去掉，依赖其周围的信息去预测缺失的 patch。
- pretext:
- 作用:
从无标签数据中学习到有用的信息, 以用于后续任务.
2.解释:
自监督任务（也称为 pretext 任务）要求我们考虑监督损失函数。然而，我们通常不关心该任务最终的性能。实际上，我们只对学习到的中间表征感兴趣，我们期望这些表征可以涵盖良好的语义或结构上的意义，并且能够有益于各种下游的实际任务。
研究人员针对图像的自监督表征学习已经提出了很多的思路。一种常见的工作流程是：在一个或多个使用无标签图像的pretext 任务上训练模型，然后使用该模型的一个中间特征层，为 ImageNet 分类任务的多分类 Logistic 回归分类器提供输入。
最近，一些研究人员提出利用有标签的数据训练监督式学习，同时利用无标签数据数据，在共享权重的情况下，训练自监督的pretext 任务.(半监督)
3.自监督学习到的表征，如何来评测它的有效性
主要看Pretrain - Finetune 流程：首先从大量的无标签数据中通过 pretext 来训练网络，得到预训练的模型，然后对于新的下游任务，和监督学习一样，迁移学习到的参数后微调即可。所以自监督学习的能力主要由下游任务的性能来体现。
- 设计pretext
1.没有标签, 为什么还能学到东西?
(1)prior: 如物体类别和颜色的关联, 物体类别和形状的关联, 物体类别和方向关联,
什么是好的prior? 低熵的prior就是好的.
(2)coherence: 时间连贯性, 空间连贯性
(3)structure
2.设置proxy task的时候需要考虑的方面
1.Shortcut:
(1)捷径
(2)色差
(3)暗角
2.Ambiguity:
3.Difficulty: 简单的模式学不到有意义的东西, 困难的模式直接放弃
- 四.自监督学习的应用(任务--基于实例的理解):
1.通过任务理解:
(1).自监督学习的任务常常是就具体问题而言: 所谓, “造标签”也要通过具体内容来解读
https://mp.weixin.qq.com/s?subscene=3&__biz=Mzg5ODAzMTkyMg==&mid=2247488297&idx=1&sn=9fe39fe524bc9aa90f90140d9dc9889e&chksm=c0699b74f71e1262ce6850537b008d16ffb9e44bfd22f6952899513f70ff5b45f6254ce64a07&scene=7&ascene=65&devicetype=android-27&version=27000f8d&nettype=cmnet&abtest_cookie=AAACAA%3D%3D&lang=zh_CN&exportkey=AQesKoUYdpDnzo0GWozQU2U%3D&pass_ticket=hx25EqOSAwv0Dd8NwrtzZtdKI9WzyeiWNAg6hAUiQTvV6RmwjaTEry3atXOMRXU%2F&wx_header=1
(2).(一样, 看一即可)
https://mp.weixin.qq.com/s?__biz=MzIwMTE1NjQxMQ==&mid=2247489550&idx=3&sn=126670a89ab91764b2d7ff0c354766d2&chksm=96f36a5aa184e34ca849f65b5620b6fc6c1f805f1815c4c5c4c217585e1660b547d608d5d2b8&mpshare=1&scene=1&srcid=0619uVBMLE7iIWiva3xPOcMy&sharer_sharetime=1592563907030&sharer_shareid=7ca0cc2a76c8b61bd0545235798d3cdb&exportkey=AXVRhoD3soPauSGeJwxMbdQ%3D&pass_ticket=hx25EqOSAwv0Dd8NwrtzZtdKI9WzyeiWNAg6hAUiQTvV6RmwjaTEry3atXOMRXU%2F#rd
2.对于具体任务, 将具体实现的算法分为大类
- .第一种分发:
自监督学习三种主要方法及其附属算法: 基于上下文, 基于时序, 基于对比
https://mp.weixin.qq.com/s?subscene=3&__biz=MzIwNzc2NTk0NQ==&mid=2247486710&idx=2&sn=e6ef984ed3a6001d8a230ec5aa453a8b&chksm=970c2420a07bad360e03f70969b8c683f324381ea5f3f009ca348bba896da70e269b86f43e43&scene=7&ascene=65&devicetype=android-27&version=27000f8d&nettype=cmnet&abtest_cookie=AAACAA%3D%3D&lang=zh_CN&exportkey=AXuqYCgxiaZ9LbLr2CbkgrY%3D&pass_ticket=hx25EqOSAwv0Dd8NwrtzZtdKI9WzyeiWNAg6hAUiQTvV6RmwjaTEry3atXOMRXU%2F&wx_header=1
(2).第二种分法:
自监督学习的两种方法: 生成方法, 对比方法及其附属算法:
https://mp.weixin.qq.com/s?subscene=3&__biz=MzI4MDYzNzg4Mw==&mid=2247492404&idx=3&sn=331df69f31d42d95f7d443be6d9a37bd&chksm=ebb7dbe0dcc052f6adf1e454cafde2e7199e37e668d453187c5ac97d3cff87f65f2d55462b01&scene=7&ascene=65&devicetype=android-27&version=27000f8d&nettype=cmnet&abtest_cookie=AAACAA%3D%3D&lang=zh_CN&exportkey=AVLedpii1r2j3GM3XwSmsBQ%3D&pass_ticket=hx25EqOSAwv0Dd8NwrtzZtdKI9WzyeiWNAg6hAUiQTvV6RmwjaTEry3atXOMRXU%2F&wx_header=1
自监督学习开源库:
https://mp.weixin.qq.com/s?__biz=MzIwMTE1NjQxMQ==&mid=2247517361&idx=3&sn=5739bf05dfd743829341d32ae3a89b5c&chksm=96f0f6e5a1877ff3d81db4c511e67cf94ca9e9fd672e2f1ab4988a8674f7a8f0e9aec51c8449&mpshare=1&scene=1&srcid=0618Bfigt4xbYXwqLaYN4nPc&sharer_sharetime=1592563842355&sharer_shareid=7ca0cc2a76c8b61bd0545235798d3cdb&exportkey=AcKIrCRuaL%2ByRYWEnK%2F5U24%3D&pass_ticket=hx25EqOSAwv0Dd8NwrtzZtdKI9WzyeiWNAg6hAUiQTvV6RmwjaTEry3atXOMRXU%2F#rd
自监督视频:
主讲人一: 看综述
主讲人二:
https://www.bilibili.com/video/BV1pK4y1478z?from=search&seid=2845535120293946898
自监督视频: 简单综述 + 自监督在NLP
https://www.bilibili.com/video/BV1v5411x7rD?from=search&seid=7691596847950571604
自监督综述: 按发展时间(自然后面的比较重要)
https://bbs.cvmart.net/topics/2307
CVPR文章分类:
https://bbs.cvmart.net/articles/1538#14
自监督学习, 监督学习, 半监督学习, 迁移学习的区别:
https://blog.csdn.net/qq_21033779/article/details/79784513?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-4.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-4.nonecase