Restnet ， transformer and vit总结

transformer可能是替代了restnet
transformer文章 attention is all you need
restnet 文章 deepl residual learning for image recognition

• restnet

task
解决layer层多了，result 的train error增加了，即defradation problem
method
added the identity layers
copy from the shallower model
网络结构
其中
shortcut connection 就是跳过1 or many层。
y = F(x, {Wi}) + Wsx ，这个Ws就是为了match the dimensions
都加到这个stacked layer 堆叠层
这种设计不增加网络复杂性，仍然用SGD的 backpropagation（反向传播）来实现端到端的训练
结果对比
plain net （只有stacked layers）
rest net （加了shortcut）
Residual Representations
For vector quantization,encoding residual vectors [17] is shown to be more effective than encoding original vectors.
也就是说residual 向量比原始的编码向量更好
them are powerful shallow representations for image retrieval and classification
是图像检索和分类的一种强大的浅层表示方法。

• transformer
  一个宝贝综述
  https://www.cvmart.net/community/detail/4032
  结构

插播
CNN是可以同步（parallel），RNN是异步必须等着上面的整完下面的再弄，似乎是上面的output是下面的input。但CNN就很独立，做自己，不管那么多他们可以一起进步。
CNN也有问题，可能会信息丢失，不会考虑前面全部的vector，没有记忆功能。所以说咱就给它shortcut，把前面的信息加进来。

为了解决这个CNN的问题
出来一个self-attension
q（query），k（key），v（原本提取出来的信息）
q*k 看和v的match程度
去看上面的链接，他写的比较明白！！！！！
muti-head-attention就是把上面单个出来的结果给它concat一下，然后再调成和一个一样的维度

embadding
就是做这个scaled inner product 就是缩放内积，转化成feature？
经历了这个
CNN+attention就是yyds 又能并行，又可以记录下前面的信息也放到网络里面

position encoding是由于整个模型的设计中所有的input 都是统一对待的,而在NLP的任务中,所有的输入的顺序是很关键的,一句话如果字的顺序发生颠倒,可能会变成完全另一个意思,因此,加入一个了position encoding 的特征来表示这个input (文中用token 表示) 是输入的顺序信息.

scale dot-product attention 中的mask 则是为了防止在实时翻译任务中, 输出利用到尚未当前时刻之后的输入的信息,在全量的input上面加上一个mask 这样就可以防止模型未卜先知利用到当前时刻后的输入的信息,防止实时NLP中任务中实际无法得到这些信息造成的问题.

这个引用的https://zhuanlan.zhihu.com/p/326892493 这个文章

vit2021 这个需要再继续看一下
文章：AN IMAGE IS WORTH 16X16 WORDS:
TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE

效果
在大规模的数据集上面做了预训练之后效果就会发生根本性的改变

下一期maybe
Vision Transformer and Swing Transformer