softmax 、softmaxt loss、cross-entropy

softmax

把输入的x值进行e(e的x次方)操作，使大的更大小的更小，然后再对输入值求概率，则大的概率也大，小大概率也小，具体操作入下图

softmax计算公式如下：

$$S_i=\frac{e^i}{{\sum }_j{e}^j}$$

softmax loss

softmax loss就是经过softmax激活之后计算的loss值，公式如下
$$loss=\sum y^{i}log{S}_i$$
其中yi为0或1（若是这个类则为1，不是则为0）
log是以e为低的对数

cross-entropy

cross-entropy同softmax loss

tensorflow计算示例