softmax、one-hot和cross-entropy，一般组合使用

"原来CrossEntropyLoss() 会把target变成ont-hot形式（网上别人说的，想等有时间去看看函数的源代码随后补充一下这里），我们现在例子的样本标签是4（从0开始计算）。那么转换成one-hot编码就是【0，0，0，0，1】......"

 

分类问题和回归问题是监督学习的两大种类：

• 分类问题的目标变量是离散的；
• 回归问题的目标变量是连续的数值。

神经网络模型的效果及优化的目标是通过损失函数来定义的。回归问题解决的是对具体数值的预测。比如房价预测、销量预测等都是回归问题。这些问题需要预测的不是一个事先定义好的类别，而是一个任意实数。解决回顾问题的神经网络一般只有一个输出节点，这个节点的输出值就是预测值。

• 对于回归问题，常用的损失函数是均方误差（MSE，Mean Squared Error）。
• 对于分类问题，常用的损失函数为交叉熵（CE，Cross Entropy）。

交叉熵一般与one-hot和softmax在一起使用。

Reference
1 损失函数 one-hot + softmax + cross-entropy 组合

2 Pytorch里的CrossEntropyLoss详解

3 CrossEntropyLoss函数，里面还包含了nn.LogSoftmax函数和nn.NLLLoss函数