Daily Reading Time

一把子盲读，个人理解浅显，可能存在错误

1003.具有周期一致性的Siamese网络的自监督对象跟踪-香港科技大学

摘要

自我监督学习不需要人工注释和在线训练.

在这项工作中，我们利用一个周期一致的自我监督框架中的端到端Siamese网络进行对象跟踪.

我们建议在跟踪框架中集成Siamese区域建议（region proposal）和掩码回归网络（mask regression network）.

INTRODUCTION

视觉目标跟踪是许多应用程序的基本任务，such as 自动驾驶、机器人操作和视频监控.

目前方法仍受到视觉变化的影响.

基于深度网络的视觉目标跟踪方法需要地面真实的目标轨迹进行训练，费力和耗时，限制发展.

视觉跟踪任务是通过样本补丁的特征嵌入与搜索图像之间的相互关联来进行学习相似响应映射；
在相互关联之后区域建议或者掩码回归网络都有助于目标的准确预测.

在本文中利用前向跟踪和后向跟踪之间的一致性（其中的差异可以作为自我监督来训练），以周期一致的方式探索用于视觉目标跟踪的自监督学习.

交叉相关后的RPN可以估计出更准确的盒建议(box proposals).提升框架性能【视觉对象跟踪任务】Visual Object Tracking

给定视频序列的第一帧对象的分割掩码来预测所有剩余帧的分割.实际应用【视频分割传播任务】Video Object Segmentation Propagation

CONTRIBUTIONS
在循环一致框架中引入了Siamese区域建议网络和掩码回归网络模块，来实现更好的end-to-end自监督学习.

1004.深度互学习DML-大连理工大学

摘要

模型蒸馏是一种将知识从老师转移到学生网络的有效且广泛使用的技术，典型应用就是从功能强大的大型网络转移或者集成到小型网络，以满足低内存或快速执行的需求.

不同于模型蒸馏中静态预定义的教师和学生之间的单项转移，DML是学生在整个训练过程中协作学习和相互教授的集合.

我们的实验表明，简单的学生网络集合的相互学习是有效的，而且比从一个更强大但静态的教师中蒸馏出来的效果更好.

INTRODUCTION

深度神经网络在很多问题上都有非常先进的性能，但是其深度/宽度非常大，大量的参数限制他们在低内存或快速执行需求的使用.

将模型实现得紧凑而准确的方法有很多：明确的节俭架构设计(explicit frugal architecture)、模型压缩(model compression)、修剪(pruning)、二值化(binarisation)、模型蒸馏(model distillation).

基于蒸馏的模型重点在于训练（学习正确参数的难度）而不是网络size.

mutual learning是未经训练的学生直接经过两种损失函数的训练（传统的监督学习损失和模仿损失）效果明显优于alone.

简单来说就是，学生之间的相互学习达到的学习效果甚至不需要更强大教师的教授，但这些学生的学习进度或者叫方向是有差异的，这样进行相互学习才会不断累加增量学习.

根据同类发现并匹配每个训练实例的其他最可能的类，增加了每个学生的后验熵，有助于收敛到更健壮的最小值.（generalization）

小节点协同学习取得更好性能，
Futhermore:
适用于各种网络架构；
效率随队列中的网络数量增加而增加；
也有利于半监督学习；
高效的集成模型.

1005.一种改进的深度学习结构的人物再识别-2015

摘要

我们提出了一种同时学习特征的方法和相应的相似度度量的ReID

提出了一种深度卷积体系结构，其中包含专门设计用于解决再识别问题的层

包括一个计算交叉输入邻域差异的层，该层基于每个输入图像的中层特征捕获两个输入图像之间的局部关系，
该层输出的高级由补丁摘要特征层（patch summary feature）计算，然后在空间上集成到后续层.

在大中数据集测试效果都不错，还不容易在小数据集overfitting

INTRODUCTION

再识别是监视系统以及人机交互系统的一项重要能力

不同角度的视角和光线，会导致同一个人的两张照片看起来非常不同，也会导致不同人的照片看起来非常相似

我们的网络体系包括两个新层，① Cross-Input Neighborhood Differences② Patch Summary Features

计算邻域局部特征差异，随后的层负责总结差异

ARCHITECTURE
从两层带有最大池化的绑定卷积开始（学习一组用于比较两个输入图像的特征），再邻域差异层+特征总结层，最后接具有最大池化的卷积层+softmax输出的FCL