李宏毅2021春季机器学习课程视频笔记8-模型训练不起来问题(分类,Loss对结果也会有影响)

李宏毅2021春季机器学习课程视频笔记8-模型训练不起来问题(分类,Loss对结果也会有影响)_第1张图片

 分类与Regression:

直接将 Class用数字表示会存在问题,因为这样就会默认class1和class2之间更接近,而其与class3之间的关系更远。class之间一般采用one-hot方法来进行编码。

李宏毅2021春季机器学习课程视频笔记8-模型训练不起来问题(分类,Loss对结果也会有影响)_第2张图片

李宏毅2021春季机器学习课程视频笔记8-模型训练不起来问题(分类,Loss对结果也会有影响)_第3张图片

 采用Softmax类似于Normalize,同时也会让大的数值与小的数值差距更大。 

李宏毅2021春季机器学习课程视频笔记8-模型训练不起来问题(分类,Loss对结果也会有影响)_第4张图片

李宏毅2021春季机器学习课程视频笔记8-模型训练不起来问题(分类,Loss对结果也会有影响)_第5张图片

这里这个问题的详解,在之前的选修课内容已经讲解(按最大似然估计求得)。

softmax和cross-entropy在pytorch中被绑定。

李宏毅2021春季机器学习课程视频笔记8-模型训练不起来问题(分类,Loss对结果也会有影响)_第6张图片

从图中可以看到,使用MSE当损失函数的初值出现在距离目标点较远的位置时,损失函数的梯度很小,基本接近于0,在训练过程中很难对参数进行有效更新找到目标位置。

李宏毅2021春季机器学习课程视频笔记8-模型训练不起来问题(分类,Loss对结果也会有影响)_第7张图片

你可能感兴趣的:(笔记)