菜鸟实习日记~day3(FRRU+ResNet)

生活：

上午来回跑着修电脑，原以为硬盘又坏了，气吼吼地去找学八地下的维修点算账，结果人一检查发现，硬盘没毛病....是接口接触不良.....哦漏看来以后再遇到这种问题，先拆机重装一下硬盘再说........

然后回到所里已经11点了，实在不想吃食堂的饭...午饭就吃了一个苹果，下午四点多饿的不行了又吃了一个面包~晚上还要加班弄懂ResNet~估计一会得晚饭也不吃了吧~减肥~减肥~减肥~

【今日无图】

---

科研：

先吐槽一句：贵所打印机真多.....终于把打印机搞定了...............................................................

刚弄懂的几个名词：

1.鲁棒性（Robustness）

原本是应用在生物学领域，在机器学习领域说为“健壮性”好像更好

计算机科学中，健壮性（英语：Robustness）是指一个计算机系统在执行过程中处理错误，以及算法在遭遇输入、运算等异常时继续正常运行的能力。 诸如模糊测试之类的形式化方法中，必须通过制造错误的或不可预期的输入来验证程序的健壮性。很多商业产品都可用来测试软件系统的健壮性。健壮性也是失效评定分析中的一个方面。（WIKI）

2.自编码网络（AutoEncoder）

简单讲就是在正常的对原始图片进行压缩（encoder)之后，再利用很多池化层balabala，使特征图的尺寸变回原来的大小(decoder)，得到一张处理后的图片。最后，如果处理后的图片与原图片相比，各方面差距不那么大，那么之前的压缩网络是很好的，可以使用的。

你的输出和原始输入一样,就是autoencoder。

所以，后面部分的扩展decoder，相当于对前面压缩网络encoder的一个可用有效性的证明。

最近几年，用的很广泛，相关论文还没有看。

论文：

1.《Full-Resolution Residual Networks for Semantic Segmentation in Street Scenes》(FRRU)

提出背景：已有的许多网络能够对识别（recogntiton)有很高的accurcy，但是往往忽略的对location accuracy的注意，比如boundary之类的....

@1 文章的主要思路是采用 two streams.一个是residual stream(残差)，用于允许low level features 在网络中毫不费力的传播；另一个是pooling stream(普通的前馈网络），用于对high-level feature的识别。

The result of the second(red) conv unit is used in two ways:

Firstly,it forms the pooling stream input of the next FRRU in the network and second it is the basis for the computed residual.(计算结果可以重复利用）

@2 为什么这样做呢？作者发现，如果pooling layer太多，会造成边缘定位困难（difficulties tracking low-level features,such as edges and boundaries,in deeper layers);但是，如果pooling layers太少，又会造成相反的效果，可以定位边界之类，但是perform poorly at recognizing the actual objects.

＠３本网络没有局限于ｐｒｅ－ｔｒａｉｎｅｄ。

ｐｒｅ－ｔｒａｉｎｅｄ（ｗｈｅｒｅ　ａ　ｌａｒｇｅ　ｎｕｍｂｅｒ　ｏｆ　ｗｅｉｇｈｔｓ　ｆｏｒ　ｔｈｅ　ｔａｒｇｅｔ　ｔａｓｋ　ｃａｎ　ｂｅ　ｐｒｅ－ｓｅｔ　ｂｙ　ａｎ　ａｕｘｉｌｉａｒｙ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ｔａｓｋ预先设置权重）的坏处：训练后，新的网络元素或新的激活功能通常不能添加，限制了设计空间。

但是　ｉｔ　ｉｓ　ｂｅｔｔｅｒ　ｔｈａｎ　ｓｃｒａｔｃｈ　ｕｓｉｎｇ　ｔｈｅ　ｄａｔａ　ｏｆ　ｔｈｅ　ｔａｒｇｅｔ　ａｐｐｐｌｉｃａｔｉｏｎ．（比使用目标应用程序数据从头开始开始训练网络相比更好）

@４ 为了利用反向传播算法，the entire forward pass has to be stored in the memory。所以为了解决训练时的这个问题（测试时不会出现这个问题）：partition the computation graph into several subsequent blocks by manually placing cut points in the graph.(在图中手动放置定位点）

@５ 为防止过拟合：translation augmentation　＆＆　gamma augmentation.

2.ResNet

天才般的，在向后传播的过程中，将N层都化为深度为3层，大大减少了梯度弥散或爆炸。这个地方等到学长七点才弄明白，实在是受不了了（出虚汗...),明天来了再好好理解这一块，还有FRRU里面涉及的部分。

明天见啦~

---