AI数学基础14——神经网络的参数和超参数

神经网络的参数（Parameters)，是指神经网络模型内部的配置变量，比如W、b，可以用训练的方式获得

神经网络的超参数（Hyper Parameters)，是神经网络模型外部的配置参数，比如学习率a、隐藏层数L、隐藏层单元数、激活函数的选择、momentum、mini batch size、regularization parameters等等，这些参数不能从训练中得到，必须手动设置，并且影响最后的参数W和b的值。

训练神经网络的过程，也是系统性调整神经网络超参数的过程；Andrew Ng说：“经常试试不同的超参数，勤于检查结果，看看有没有更好的超参数取值，你将会得到设定超参数的直觉”