caffe调参经验资料文章

original url:

http://www.voidcn.com/blog/langb2014/article/p-5748576.html

调参是个头疼的事情，Yann LeCun、Yoshua Bengio和Geoffrey Hinton这些大牛为什么能够跳出各种牛逼的网络？
下面一些推荐的书和文章：调参资料总结

Neural Network: Trick of the Trade Neural Networks: Tricks of the Trade

Practical Recommendations for Gradient-based Training of Deep Architectures http://arxiv.org/abs/1206.5533

《   神经网络训练中的Tricks之高效BP（反向传播算法）   》   翻译文章。神经网络训练中的Tricks之高效BP（反向传播算法），来自与于《Neural Networks: Tricks of the Trade》一书第二版中的第一章 Efficient BackProp 的部分小节。  

《Deep Learning for Vision: Tricks of the Trade》Marc’Aurelio Ranzato 在 CVPR 上 的 presentation slides/talk（Youtube 等地方可以搜到）。caffe 作者之一贾扬清推荐。涉及到了许多 DL 的调参技巧（在 slides 比较靠后的地方）

《Optimizing RNN performance》百度 Silicon Valley AI Lab 的分享，现在主要是 GEMM 的性能优化，以后还会有并行 GPU，GRU 和 LSTM 的实现技巧等……

《Must Know Tips/Tricks in Deep Neural Networks》来自 NJU LAMDA 实验室的 Xiu-Shen Wei 的总结，主要集中于 CNN，包括各种数据处理上可能带来的性能和表现的差异。图表丰富，有理有据。

《训练深度神经网络的时候需要注意的一些小技巧》这篇是综合翻译，没给出都从哪节选的。我收集的英文版在下面：

《Training Tricks from Deeplearning4j》deeplearning4j 的 googlegroups 也很推荐。这篇其实干货不多，但是也有一些了。包括对于训练的理解，并不全是干货般的总结。

《Suggestions for DL from Llya Sutskeve》Hinton 亲传弟子介绍深度学习的实际 tricks，包括data, preprocessing, minibatches, gradient normalization, learning rate, weight initialization, data augmentation, dropout和ensemble。

《Efficient Training Strategies for Deep Neural Network Language Models》讨论了如何设置 batch-size, initial learning rate, network initialization，但最有趣的结论应该是：普通的 deep feed-forward architecture比recurrent NN 在 model long distance dependency 效果和效率都更好。

《Neural Networks Best Practice》Uber 的 data scientist 写的。比如: Rectifier is becoming popular as an activation function. However, I find its theory dubious and my experiments have not shown that it is always better. That said, I’m experimenting with new activation functions. (Little trivia: I’m borrowing many ideas from my graduate work in computational wave propagation.)

《How transferable are features in deep neural networks?》也是争议比较大的一篇文章，finetuning 有一定帮助，但是不够细致。

《Dark Knowledge from Hinton》有心人整理的 Hinton 提到的 Dark Knowledge 的一些资源。

《Stochastic Gradient Descent Tricks》L eon Bottou 写的 Stochastic Gradient Descent Tricks 挺好，做工程也要做的漂亮。

《Advice for applying Machine Learning》主要集中在如何观察数据来选择方法。

《How to Debug Learning Algorithm for Regression Model》主要都是讲回归中遇到的各种“预期不符”的结果。配合 ESL 第二章和第三章内容看效果加成。

《Large-scale L-BFGS using MapReduce》NIPS’14 的论文，简单并行化 LBFGS里面的双循环（最耗时，计算量巨大）。

《特征工程选择系列》特征工程系列文章：Part1.单变量选取 Part2.线性模型和正则化 Part3.随机森林 Part4.稳定性选择法、递归特征排除法(RFE)及综合比较。有 Python 代码。

《机器学习代码心得之有监督学习的模块 机器学习代码心得之迭代器和流水处理》新一代大神微博@陈天奇怪 的系列文章，有兴趣的直接顺着看吧。

《STOCHASTIC GRADIENT BOOSTING: CHOOSING THE BEST NUMBER OF ITERATIONS》Kaggle 达人 YANIR SEROUSSI 告诉你如何选择 Stochastic Gradient Boosting 的训练最佳 iteration 超参数。不过我比较存疑，因为如果条件允许，当然迭代的越多越好……

《Large-Scale High-Precision Topic Modeling on Twitter》Twitter 高级研究员的 KDD’14论文。有不少实用技巧，比如短文本特征，LR结果概率化修正，正样本抽样，PU学习后负样本选取。