Keras中常用的损失函数和优化方法

Keras中，定义损失函数和优化方法的语句是：

model.compile(loss = 'mse', optimizer = 'sgd')

 

其中，常用的损失函数（loss）有：

1. mean_squared_error/mse: 均方误差，计算公式为：

（图片来自“均方误差”百度词条）

2. mean_absolute_error/mae: 绝对值方差，其计算公式为：

MAE(θ_predict)= E(| θ_predict - θ_true |)

3. mean_absolute_percentage/mape: 平均绝对百分比误差

4. mean_squared_logarithmic_error/msle: 均方对数误差

5. hinge: hinge loss, 最常用在SVM中

6. binary_corssentropy: 对数损失（log loss）

7.  categorical_crossentropy: 多类的对数损失

 

常用的优化方法（optimizer）有：

1. sgd: 随机梯度下降

2. AdaGrad

3. RMSProp

最优化算法详见总结文章。