Softmax Regression损失函数的求导

softmax regression 代价函数：

$$J(\theta )=-\frac{1}{m}\left[\sum _{i=1}^m\sum _{j=1}^{k}1\{y^{(i)}=j\}log\frac{e^{{\theta }_j^T{X}^{(i)}}}{{\sum }_{l=1}^k{e}^{{\theta }_l^T{X}^{(i)}}}\right]$$
其中，1{y⁽ⁱ⁾=j}表示的是当y⁽ⁱ⁾属于类别j时，1{y⁽ⁱ⁾=j}=1, 否则，1{y⁽ⁱ⁾=j}=0.


对损失函数求导：

$$\begin{gathered} {\nabla }_{{\theta }_j}J(\theta )=-\frac{1}{m}\sum _{i=1}^m\left[{\nabla }_{{\theta }_j}\sum _{j=1}^{k}1\{y^{(i)}=j\}log\frac{e^{{\theta }_j^T{X}^{(i)}}}{{\sum }_{l=1}^k{e}^{{\theta }_l^T{X}^{(i)}}}\right] \\ =-\frac{1}{m}\sum _{i=1}^m\left[1\{y^{(i)}=j\}\cdot \frac{{\sum }_{l=1}^k{e}^{{\theta }_l^T{X}^{(i)}}}{e^{{\theta }_j^T{X}^{(i)}}}\cdot \left(-\frac{e^{{\theta }_j^T{X}^{(i)}}\cdot X^{(i)}\cdot e^{{\theta }_j^T{X}^{(i)}}}{{\left({\sum }_{l=1}^k{e}^{{\theta }_l^T{X}^{(i)}}\right)}^2}+\frac{e^{{\theta }_j^T{X}^{(i)}}\cdot X^{(i)}}{{\sum }_{l=1}^k{e}^{{\theta }_l^T{X}^{(i)}}}\right)\right] \\ =-\frac{1}{m}\sum _{i=1}^m\left[1\{y^{(i)}=j\}\cdot \frac{{\sum }_{l=1}^k{e}^{{\theta }_l^T{X}^{(i)}}-e^{{\theta }_j^T{X}^{(i)}}}{{\sum }_{l=1}^k{e}^{{\theta }_l^T{X}^{(i)}}}\cdot X^{(i)}\right] \end{gathered}$$


第一步求导中，首先是对数函数的求导，此处将log看成ln：

$$(lnx{)}^{\prime }=\frac{1}{x}$$
其次是对指数函数的求导：

$$(e^x{)}^{\prime }=e^x$$

另外对?_j_的求导是针对?中的某一项j，所以其他非j的?项求导后为0.
这一步还有看不懂的可以参考一下求导例题：

而对于每一个样本，估计其所属的类别的概率为：

$$P(y^{(i)}=j|X^{(i)};\theta )=\frac{e^{{\theta }_j^T{X}^{(i)}}}{{\sum }_{l=1}^k{e}^{{\theta }_l^T{X}^{(i)}}}$$

所以最终的结果是：

$$\begin{gathered} {\nabla }_{{\theta }_j}J(\theta )=-\frac{1}{m}\sum _{i=1}^m\left[1\{y^{(i)}=j\}\cdot \frac{{\sum }_{l=1}^k{e}^{{\theta }_l^T{X}^{(i)}}-e^{{\theta }_j^T{X}^{(i)}}}{{\sum }_{l=1}^k{e}^{{\theta }_l^T{X}^{(i)}}}\cdot X^{(i)}\right] \\ =-\frac{1}{m}\sum _{i=1}^m\left[X^{(i)}\cdot \left(1\{y^{(i)}=j\}-P(y^{(i)}=j|X^{(i)};\theta )\right)\right] \end{gathered}$$
此处?_j_表示的是一个向量。
通过梯度下降法的公式可心更新如下：

$${\theta }_j={\theta }_j+\alpha {\nabla }_{{\theta }_j}J(\theta )$$

更详细了解Softmax回归可参考Ufldl教程。