李宏毅2021春季机器学习课程视频笔记8-模型训练不起来问题(分类，Loss对结果也会有影响)

 分类与Regression：

直接将 Class用数字表示会存在问题，因为这样就会默认class1和class2之间更接近，而其与class3之间的关系更远。class之间一般采用one-hot方法来进行编码。

 采用Softmax类似于Normalize，同时也会让大的数值与小的数值差距更大。 

这里这个问题的详解，在之前的选修课内容已经讲解（按最大似然估计求得）。

softmax和cross-entropy在pytorch中被绑定。

从图中可以看到，使用MSE当损失函数的初值出现在距离目标点较远的位置时，损失函数的梯度很小，基本接近于0，在训练过程中很难对参数进行有效更新找到目标位置。