深度学习笔记6:神经网络优化算法之从SGD到Adam

1

从前面的学习中,笔者带大家一起学会了如何手动搭建神经网络,以及神经网络的正则化等实用层面的内容。这些都使得我们能够更深入的理解神经网络的机制,而并不是初次接触深度学习就上手框架,虽然对外宣称神经网络是个黑箱机制,但是作为学习者我们极度有必要搞清楚算法在每个环节到底都干了些什么。

今天笔者需要讲的是深度学习的一个大的主题——优化算法。采用何种方式对损失函数进行迭代优化,这是机器学习的一大主题之一,当一个机器学习问题有了具体的模型和评估策略,所有的机器学习问题都可以形式化为一个最优化问题。这也是为什么我们说优化理论和凸优化算法等学科是机器学习一大支柱的原因所在。从纯数学的角度来看,所有的数学模型尽管形式不一,各有头面,但到最后几乎到可以归约为最优化问题。所以,有志于奋战在机器学习和深度学习领域的各位,学好最优化,责无旁贷啊。


>>>阅读全文

你可能感兴趣的:(深度学习笔记6:神经网络优化算法之从SGD到Adam)