AI重温:二分类和多分类的交叉熵区别

二分类,一般激活函数使用sigmoid

Sigmoid计算公式:

此时交叉熵计算公式:

or

AI重温:二分类和多分类的交叉熵区别_第1张图片

代码如下:

corss = np.mean(-np.sum(y * np.log(y_hat) + (1-y) * np.log(1-y_hat)))

多分类,一般激活函数使用softmax

Softmax计算公式:

AI重温:二分类和多分类的交叉熵区别_第2张图片

 此时交叉熵计算公式:

AI重温:二分类和多分类的交叉熵区别_第3张图片

代码如下:

cross = np.mean(-np.sum(y_test_onehot * np.log(y_prob), axis=1))

-------------------------------------------------------------over--------------------------------------------------------------

你可能感兴趣的:(学习,python,Cross-entropy,activate)