【深度学习】回归问题和分类问题损失函数求导

1.回归问题

$$J=\frac{1}{2N}\sum _{i=1}^N\Vert y^i-\hat{y}{\Vert }^2$$
$$\frac{\partial J}{\partial y^i}=\frac{1}{N}\sum _{i=1}^N(y^i-\hat{y})$$

2.分类问题

先对y进行softmax：
$$S_k=\frac{e^{y_k}}{{\sum }_{i=1}^n{e}^{y_i}}$$
以单个样本为例，网络输出的$\hat{S}(s_1,s_2,...,s_n)$为一个概率分布，n是类别个数；该样本的实际标签一般one-hot形式，$S(0,0,...,1,0,0,..0)$可以看做是（硬）概率分布。
可以考虑KL散度来计算损失。其实，直接根据交叉熵就可以写出损失函数：
这里只考虑单个样本，方便简化运算。
$$\begin{gathered} J=\sum _{k=1}^{n}Slog\hat{S} \\ =-log(s_k)=-log(\frac{e^{y_k}}{{\sum }_{i=0}^{n-1}{e}^{y_i}}) \end{gathered}$$
对$y_k$求导:
$$\frac{\partial J}{\partial y_k}=\frac{\partial }{\partial y_k}\{log(\sum _{i=0}^{n-1}{e}^{y_i})-y_k\}=\frac{e^{y_k}}{{\sum }_{i=0}^{n-1}{e}^{y_i}}-1$$
即可以写成 :
$$\begin{gathered} \frac{\partial J}{\partial y_k}=s_k-\delta (i=k)， \\ \delta =1,当i=k时，\delta =0,当i!=k时 \end{gathered}$$
最终写成向量的形式（单个样本形式）:
$$\frac{\partial J}{\partial y}=\hat{S}-S$$