深度学习(十三)——loss及其梯度

MSE:均方差
深度学习(十三)——loss及其梯度_第1张图片
深度学习(十三)——loss及其梯度_第2张图片
深度学习(十三)——loss及其梯度_第3张图片
需要求偏导的参数,要特别写出来
深度学习(十三)——loss及其梯度_第4张图片
因为是动态图,所以要再次求mse
深度学习(十三)——loss及其梯度_第5张图片
两种求梯度的写法
深度学习(十三)——loss及其梯度_第6张图片
softmax
由来
输出的值想要最大的,认为转化为概率0-1
如果用sigmoid,概率相加可能不等于1
softmax:把值大的变的更大,值小的压缩到密集的空间,差距拉大,所以叫soft version of max,最大的极度舒适版本呀==!
深度学习(十三)——loss及其梯度_第7张图片
i=j时
深度学习(十三)——loss及其梯度_第8张图片
i!=j
深度学习(十三)——loss及其梯度_第9张图片
总结:
只有i=j时,偏导为正
深度学习(十三)——loss及其梯度_第10张图片
深度学习(十三)——loss及其梯度_第11张图片

你可能感兴趣的:(深度学习)