机器学习常用数学公式

常用函数

softmax

softmax(x)i=exi∑jexj

sigmoid

σ(x)=11+e−x

gradient of sigmoid

σ'(x)=σ(x)(1−σ(x))

tanh

tanh(x)=1−e−2x1+e−2x

ReLU

ReLU(x)=max(0,x)

cross-entropy cost

CE(y,y^)=−∑iyilog(y^i)

评测指标

准确率

Precision(%)=Truepositive(Truepositive+Falsepositive)×100%

召回率

Recall(%)=Truepositive(Truenegative+Falsenegative)×100%

F1-score

F1−Score=21p+1r

或者

F1−Score=2×P×RP+R=2×TP样本总数+TP−TN

MSE: Mean Squared Error

MSE=1m∑i=1m(y^(i)−y(i))2

RMSE

RMSE=1m∑i=1m(y^(i)−y(i))2−−−−−−−−−−−−−−−√

MAE :Mean Absolute Error

MAE=1m∑i=1m|y^(i)−y(i)|

• 均方误差是指参数估计值与参数真值之差平方的期望值，可以评价数据的变化程度，MSE的值越小，说明预测模型描述实验数据具有更好的精确度.
• 均方根误差是均方误差的算术平方根
• 平均绝对误差是绝对误差的平均值，能更好地反映预测值误差的实际情况.