4.TensorFlow代价函数 拟合 优化器

一、二次代价函数、交叉熵代价函数、对数似然代价函数

(一)二次代价函数 

相当于把误差求平方累加再除以样本总数,求平均 

(二)交叉熵代价函数 

(三)对数似然代价函数 

激活函数:见博文

早期研究神经网络主要采用sigmoid函数或者tanh函数,输出有界,很容易充当下一层的输入。 
近些年Relu函数及其改进型(如Leaky-ReLU、P-ReLU、R-ReLU等)在多层神经网络中应用比较

见本总结教程另一片博文

二、拟合 
欠拟合、正拟合、过拟合 

4.TensorFlow代价函数 拟合 优化器_第1张图片


解决过拟合的方法 
①增加数据集

②正则化方法 
 
③Dropout 
训练的时候只用部分神经元来进行训练

4.TensorFlow代价函数 拟合 优化器_第2张图片

三、优化器 
SGD、Momentum、NAG、Adagrad、Adadelta、Rmsprop

 

你可能感兴趣的:(ML&DL)