AlexNet学习笔记

一、讲解链接
深度学习经典论文分享（三）-ImageNet Classification with Deep Convolutional Neural Networks
Paper想要充分利用ImageNet这样大规模的数据集，所以想要构建一个更深层次CNN。为了保持深度卷积神经网络的优势，提出了一些列相关方法来解决伴随网络加深而出现的一系列问题。

1. 使用ReLU非线性非饱和激活函数，提高了性能，并解决了饱和激活函数可能的梯度消失问题
2. 跨GPU并行化操作，提高了速度
3. LRN，增强了模型泛化能力
4. 重叠池化操作，更好的保留了图像特征
5. Dropout避免过拟合
6. 使用数据增强，提升模型泛化性能
   
   个人理解：作者把先前很多技术综合运用，来达到想要的效果。

二、学习过程中相关知识的参考链接

1. 权重衰减
   权重衰减（weight decay）与学习率衰减（learning rate decay）
2. 局部相应归一化层LRN
   局部响应归一化层（LRN）
   在神经网络中使用LRN进行归一化有助于提高模型的泛化性能！
3. 饱和和非饱和函数
   饱和和非饱和激活函数
4. 动量梯度下降法
   动量梯度下降法(gradient descent with momentum)
5. 玻尔兹曼机
   【总结】关于玻尔兹曼机(BM)、受限玻尔兹曼机(RBM)、深度玻尔兹曼机(DBM)、深度置信网络(DBN)理论总结和代码实践
   玻尔兹曼机可以解决两类问题，一类是搜索问题：当给定变量之间的连接权重时，需要找到一组二值向量，使得整个网络的能量最低。另一类是学习问题，当给定变量的多组观测值时，学习网络的最优权重。
6. 模拟退火算法
   模拟退火算法详细讲解（含实例python代码）
   是一种有效避免陷入局部极小并最终趋于全局最优的串行结构的优化算法