关于感知机原始形式的损失函数梯度的推导

关于感知机原始形式的损失函数梯度的推导

参考《统计学习方法》
感知机学习算法的原始形式中，L(w,b)对于w,b的梯度是如何计算出来的有点不懂，就自己推导了一下。这里记录一下过程

首先需要看下前置知识

1.实标量函数f(x)相对于1*n 行向量$x^T$的梯度(其中x是列向量)，定义为：
$$\frac{\partial f(x)}{\partial x^T}=[\frac{\partial f(x)}{\partial x_1},\frac{\partial f(x)}{\partial x_2},\frac{\partial f(x)}{\partial x_3},\dots ,\frac{\partial f(x)}{\partial x_n}]=\nabla x^{T}f(x)$$
2.几个向量的加权和，等于这些向量中每个元素的加权和组成的向量，就是：
$$\begin{gathered} 设a_i是标量，其中i\in (1,\dots ,M)。X_i=(x_i^0,x_i^1) \\ \sum _{i=0}^M{a}_i{X}_i \\ =a_0(x_0^0,x_0^1)+a_1(x_1^0,x_1^1)+\cdots +a_M(x_M^0,x_M^1) \\ =[\sum _{i=0}^M{y}_i{x}_i^0,\sum _{i=0}^M{y}_i{x}_i^1] \\ numpy中计算a_i{X}_i用的是np.dot(a_i,X_i)，这里相当于把a_i广播了。但其实和a_i\ast X_i计算结果一样 \end{gathered}$$

接下来是推导

损失函数为：
$$L(w,b)=-\sum _{x_i\in M}{y}_i(w{x}_i+b)$$
不失一般性，设
$$\begin{gathered} L(w,b)=-\sum _{i=0}^M{y}_i(w{x}_i+b) \\ 其中w=(w_0,w_1),x_i=(x_i^0,x_i^1) \end{gathered}$$
那么：
$$\begin{gathered} L(w,b)=-(y_0(w_0{x}_0^0+w_1{x}_0^1+b) \\ +y_1(w_0{x}_1^0+w_1{x}_1^1+b) \\ +y_2(w_0{x}_2^0+w_1{x}_2^1+b) \\ \dots \\ +y_M(w_0{x}_M^0+w_1{x}_M^1+b)) \\ =-((\sum _{i=0}^M{y}_i{x}_i^0)w_0+(\sum _{i=0}^M{y}_i{x}_i^1)w_1+b\sum _{i=0}^M{y}_i) \end{gathered}$$

对w求导:

$$\begin{gathered} \frac{\partial L(w,b)}{\partial w} \\ =[\frac{\partial L(w,b)}{\partial w_0},\frac{\partial L(w,b)}{\partial w_1}] \\ =-[\sum _{i=0}^M{y}_i{x}_i^0,\sum _{i=0}^M{y}_i{x}_i^1] \\ =-\sum _{i=0}^M{y}_i{x}_i \end{gathered}$$
写成书里的样子：
$$\nabla wL(w,b)=-\sum _{x_i\in M}{y}_i{x}_i$$

对b求导：

对b求导就简单了,b只是一个标量。于是
$$\frac{\partial L(w,b)}{\partial b}=-\sum _{i=0}^M{y}_i$$
写成书里的样子：
$$\nabla bL(w,b)=-\sum _{x_i\in M}{y}_i$$