研究生近3年、工作近3年，见证了深度学习的萌芽和发展，有太多经验和心得，想和大家分享

2013 年研究生的时候，得知 2012 年 Hinton 教授带领他的团队构建的 AlexNet 模型在 ImageNet 图像识别比赛中，以绝对优势取得冠军。技术发展不破不立，Hinton 破 “ 激活函数 tanh ” 立 “ 激活函数Relu ”，破 “ 预训练 + 微调（hinton 2006年的论文）” 立 “有监督学习”。

2015 年研究生的时候，Hinton 等人又论证了通过 Batch Gradient Descent 方式可以忽略 局部极值 对深度模型的影响。

研究生时候，还主要以 Theano 为主要编程工具，工作后主要以 TensorFlow 为主要编程工具。

研究生的时候，还主要关注 梯度优化器理论、算法，构造新的网络单元或结构；工作后，主要以读论文，实现论文模型，根据业务（量级）优化模型，线上有没有收益为主。

天若有情天亦老，人间正道是沧桑。有些时候，感叹时光易老，不再年少。所以，在整个伟大的时代，我觉得，应该把自己的贡献给整个昂扬的社会。