2018-06-28 BP算法

BP推导——续

反向传播算法 Backpropagation Algorithm

（批量）梯度下降法 (batch) gradient descent

（整体）代价函数 (overall) cost function

方差 squared-error

均方差 average sum-of-squares error

规则化项 regularization term

权重衰减 weight decay

偏置项 bias terms

贝叶斯规则化方法 Bayesian regularization method

高斯先验概率 Gaussian prior

极大后验估计 MAP

极大似然估计 maximum likelihood estimation

激活函数 activation function

双曲正切函数 tanh function

非凸函数 non-convex function

隐藏层单元 hidden (layer) units

对称失效 symmetry breaking

学习速率 learning rate

前向传导 forward pass

假设值 hypothesis

残差 error term

加权平均值 weighted average

前馈传导 feedforward pass

阿达马乘积 Hadamard product

前向传播 forward propagation

• Alpha 

• Bias Units

• Mini-Batches

• Delta Trimming 

• Parameterized Layer Sizes

• Regularization

• Dropout

• Momentum

• Batch Normalization 

• GPU Compatability

• Other Awesomeness You Implement

学习速率

偏置单元

小批量

Delta修剪

网络层大小参数化

正则化

概率输出

动量因子

批量归一化

GPU兼容性

你自己的一些奇思妙想