highway networks

传统nn网络越深，训练起来越困难，本文引入highway network解决这个问题，论文里面说：妈妈再也不用担心我的网络太深了。

一个典型的神经网络是一个仿射变换加一个非线性函数。

受lstm门机制的启发，我们给它添加一个transfer gate 和一个carry gate。看名字就能猜到这两个门是干嘛用的。

这篇论文做了个简化取C=1-T

其实就是在输出和网络层之间加了一个连接，直接让输入X的信息直接通过，不需要通过神经网络层，跟高速公路一样。resnet也是这么做的。