Logistic回归和Softmax回归引入$L_2$正则化后的梯度下降过程

Logistic回归引入$L_2$正则化后的梯度下降过程

Logistic回归是一种用于分类问题的机器学习算法。在引入$L_2$正则化后，Logistic回归的目标函数为：

$$\begin{array}{rl}J(w)& =-\frac{1}{m}\sum _{i=1}^m[y^{(i)}log(h_w(x^{(i)}))+(1-y^{(i)})log(1-h_w(x^{(i)}))]+\frac{\lambda }{2m}\sum _{j=1}^n{w}_j^2\\ & =-\frac{1}{m}\sum _{i=1}^m[y^{(i)}log(\sigma (w^T{x}^{(i)}))+(1-y^{(i)})log(1-\sigma (w^T{x}^{(i)})))]+\frac{\lambda }{2m}\sum _{j=1}^n{w}_j^2\end{array}$$
其中，$m$是训练样本的数量，$n$是特征的数量，$y^{(i)}$是第$i$个样本的类别（0或1），$x^{(i)}$是第$i$个样本的特征向量，$w$是模型的参数向量，$\lambda$是正则化系数，$\sigma (z)$是Logistic函数，定义为：
$$\sigma (z)=\frac{1}{1+e^{-z}}$$
使用梯度下降算法来最小化目标损失函数$J(w)$，更新规则为：
$$w_j\leftarrow w_j-\alpha \frac{\partial J(w)}{\partial w_j}$$
其中，$\alpha$是学习率，$\frac{\partial J(w)}{\partial w_j}$是目标函数$J(w)$对参数$w_j$的偏导数。
对目标函数$J(w)$求偏导数，有：
$$\begin{array}{rl}\frac{\partial J(w)}{\partial w_j}& =-\frac{1}{m}\sum _{i=1}^m(y^{(i)}-\sigma (w^T{x}^{(i)}))x_j^{(i)}+\frac{\lambda }{m}{w}_j\\ & =-\frac{1}{m}\sum _{i=1}^m{x}_j^{(i)}(y^{(i)}-\sigma (w^T{x}^{(i)}))+\frac{\lambda }{m}{w}_j\end{array}$$
因此，Logistic回归引入$L_2$正则化后的梯度下降更新规则为：
$$w_j\leftarrow w_j-\alpha \left(-\frac{1}{m}\sum _{i=1}^m{x}_j^{(i)}(y^{(i)}-\sigma (w^T{x}^{(i)}))+\frac{\lambda }{m}{w}_j\right)$$
化简得：
$$w_j\leftarrow (1-\alpha \frac{\lambda }{m})w_j+\alpha \frac{1}{m}\sum _{i=1}^m{x}_j^{(i)}(y^{(i)}-\sigma (w^T{x}^{(i)}))$$

Softmax回归引入$L_2$正则化后的梯度下降过程

Softmax回归是一种用于多分类问题的机器学习算法。在引入$L_2$正则化后，Softmax回归的目标函数为：
$$\begin{array}{rl}J(W)& =-\frac{1}{m}\sum _{i=1}^m\sum _{j=1}^k{y}_j^{(i)}log(\frac{e^{w_j^T{x}^{(i)}}}{{\sum }_{l=1}^k{e}^{w_l^T{x}^{(i)}}})+\frac{\lambda }{2m}\sum _{j=1}^k\sum _{l=1}^n{W}_{jl}^2\\ & =-\frac{1}{m}\sum _{i=1}^m\sum _{j=1}^k{y}_j^{(i)}(w_j^T{x}^{(i)}-log\sum _{l=1}^k{e}^{w_l^T{x}^{(i)}})+\frac{\lambda }{2m}\sum _{j=1}^k\sum _{l=1}^n{W}_{jl}^2\end{array}$$
其中，$m$为训练样本的数量，$n$表示特征的数量，$k$是类别的数量，$y_j^{(i)}$是第$i$个样本属于第$j$个类别的概率（$y_j^{(i)}=1$表示第$i$个样本属于第$j$个类别，$y_j^{(i)}=0$表示不属于），$x^{(i)}$是第$i$个样本的特征向量，$W$是模型的参数矩阵，$\lambda$是正则化系数。

使用梯度下降算法来最小化目标函数$J(W)$，更新规则为：
$$W_{jl}\leftarrow W_{jl}-\alpha \frac{\partial J(W)}{\partial W_{jl}}$$
其中，$\alpha$是学习率，$\frac{\partial J(W)}{\partial W_{jl}}$是目标函数$J(W)$对参数$W_{jl}$的偏导数。

对目标函数$J(W)$求偏导数，有：
$$\begin{array}{rl}\frac{\partial J(W)}{\partial W_{jl}}& =-\frac{1}{m}\sum _{i=1}^m(y_j^{(i)}-\frac{e^{w_j^T{x}^{(i)}}}{{\sum }_{l=1}^k{e}^{w_l^T{x}^{(i)}}})x_l^{(i)}+\frac{\lambda }{m}{W}_{jl}\\ & =-\frac{1}{m}\sum _{i=1}^m{x}_l^{(i)}(y_j^{(i)}-\frac{e^{w_j^T{x}^{(i)}}}{{\sum }_{l=1}^k{e}^{w_l^T{x}^{(i)}}})+\frac{\lambda }{m}{W}_{jl}\end{array}$$
将上述偏导数带入梯度下降更新规则中，得到：
$$W_{jl}\leftarrow W_{jl}-\alpha (-\frac{1}{m}\sum _{i=1}^m{x}_l^{(i)}(y_j^{(i)}-\frac{e^{w_j^T{x}^{(i)}}}{{\sum }_{l=1}^k{e}^{w_l^T{x}^{(i)}}})+\frac{\lambda }{m}{W}_{jl})$$
化简后得到：
$$W_{jl}\leftarrow (1-\alpha \frac{\lambda }{m})W_{jl}-\frac{\alpha }{m}\sum _{i=1}^m{x}_l^{(i)}(\frac{e^{w_j^T{x}^{(i)}}}{{\sum }_{l=1}^k{e}^{w_l^T{x}^{(i)}}}-y_j^{(i)})$$