【每周CV论文推荐】 初学者必须精读的5篇深度学习优化相关文章
欢迎来到《每周CV论文推荐》。在这个专栏里，还是本着有三AI一贯的原则，专注于让大家能够系统性完成学习，所以我们推荐的文章也必定是同一主题的。
从事深度学习岗位，扎实的深度学习理论基础是必须掌握的，在前面我们已经给大家推荐过入门必须的模型结构相关的文章，今天给大家推荐必须精读的优化技术相关的文章。
作者&编辑 | 言有三
1 Xavier初始化方法
早期的深层神经网络就是被卡在了初始化上，xavier是一个非常有效的初始化方法，它的来龙去脉自然是需要仔细了解。
文章引用量：6000+
推荐指数：✦✦✦✦✦
[1] Glorot X, Bengio Y. Understanding the difficulty of training deep feedforward neural networks[C]//Proceedings of the thirteenth international conference on artificial intelligence and statistics. 2010: 249-256.
2 ReLU函数
简单而不光滑的ReLU为何开始取代sigmoid等激活函数，它为何有效，不需多说，基本上一直都被问。
文章引用量：4000+
推荐指数：✦✦✦✦✦
[2] Glorot X, Bordes A, Bengio Y. Deep sparse rectifier neural networks[C]//Proceedings of the fourteenth international conference on artificial intelligence and statistics. 2011: 315-323.
3 Dropout正则化技术
Dropout是AlexNet网络成功训练必不可缺少的工程技术，也是极为强大的正则化技术，在深度学习优化技术中举足轻重。
文章引用量：13000+
推荐指数：✦✦✦✦✦
[3] Srivastava N, Hinton G, Krizhevsky A, et al. Dropout: a simple way to prevent neural networks from overfitting[J]. The journal of machine learning research, 2014, 15(1): 1929-1958.
4 池化与步长
池化的思想和应用早就随着卷积而诞生，但是现在我们常常用带步长的卷积去替代池化，为什么呢？它们的对比究竟如何。
文章引用量：1400+
推荐指数：✦✦✦✦✧
[4] Springenberg J T, Dosovitskiy A, Brox T, et al. Striving for simplicity: The all convolutional net[J]. arXiv preprint arXiv:1412.6806, 2014.
5 BN的提出
BN之强大，人尽皆知，不管你读过多少资料解读，这原文都是需要精读的。
文章引用量：11000+
推荐指数：✦✦✦✦✦
[5] Ioffe S, Szegedy C. Batch normalization: Accelerating deep network training by reducing internal covariate shift[J]. arXiv preprint arXiv:1502.03167, 2015.
鉴于理论文章读起来难度要高不少，本周就只推荐5篇，深度学习优化相关的内容这还只是前菜，希望大家提前做好准备。
6 如何获取文章与交流
找到有三AI开源项目即可获取。
https://github.com/longpeng2008/yousan.ai
文章细节众多，阅读交流在有三AI知识星球中进行，感兴趣可以加入。
总结
以上就是初入深度学习领域必读的理论相关的文章，下一期我们将介绍一些训练和测试数据使用技巧相关的文章。
转载文章请后台联系
侵权必究
往期精选
【每周论文推荐】 初入深度学习CV领域必读的几篇文章
【每周CV论文推荐】 掌握残差网络必读的10多篇文章
【每周NLP论文推荐】从预训练模型掌握NLP的基本发展脉络
【每周NLP论文推荐】 NLP中命名实体识别从机器学习到深度学习的代表性研究