Dropout，maxout，NIN

1. Dropout
   dropout是前向网络结构中给定输入向量v，预测输出y的一种技术。网络包含一系列隐含层节点 h=h(1),...,h(L) ，Dropout是由v和h中的部分变量训练出模型的集成模型。使用 θ 对分布 p(y|v;θ,μ) 进行参数化， μ 是决定包含哪些变量的二值掩码。不同子模型的实例可通过v，h和掩码 μ 的elementwise相乘得到。由于不同的模型使用不同的数据子集训练，可以说Dropout训练与bagging类似。与bagging不同的是，每个模型只训练一次并且模型间进行参数共享。指数级子模型的平均预测可通过对全模型的权值除2计算，即softmax (vTW/2+b) 。

2. Maxout
   maxout是一种激活函数，给定输入 x∈Rd ，隐含层的maxout输出是
   hi(x)=maxj∈[1,k]zij
   zij=xTW..ij+bij
   其中 W∈Rd×m×k,b∈Rm×k
   maxout结点可认为是对任意凸函数做线性拟合，maxout不仅能学习隐含层节点之间的关系，而且可以学习每个节点的激活函数
   
   假定maxout单元有很多仿射组元，具有两个隐含层节点的maxout模型可以拟合任意的 v∈Rn 的连续函数。该思路可有下图说明
   
   Proposition 4.1
   任意连续PWL函数可由两个凸函数之差表示：
   g(v)=h1(v)−h2(v)
   Proposition 4.2
   假设 f:C→R 是连续函数 ϵ 是任意正实数，存在连续PWL函数g，对任意 v∈C ， |f(v)−g(v)|<ϵ
   Thereom4.3
   任意连续函数f可由紧致域 C⊂Rn 中具有两个maxout隐含结点的maxout网络拟合。
   更好的解释参见链接http://www.cnblogs.com/tornadomeet/p/3428843.html

3. NIN
   Network in Network主要对卷积层和全连接层进行了改进，作者提出使用更复杂的微神经网络来抽象，与CNN类似，使用微网络滑动法获取特征图。另外，作者对特征图进行全局平均池化法代替全连接层，不许参数优化，避免了overfitting。
   更好的解释参见博客http://blog.csdn.net/sheng_ai/article/details/41313883