NNDL 第三章课后作业

电子版

3-2在线性空间中，证明一个点$x$到平面$f(x;w)=w^x+b=0$的距离为$|f(x,w)|/||w||$|

公式推导
$$\cos \theta =\frac{|AB-w|}{||AB||||w||}$$

$$d=||AB||cos\theta$$

$$=>d=\frac{AB.w}{||w||}$$

$$=>d=\frac{OB.w-OA.w}{||w||}$$

因为$OBw=0$

$$d=\frac{OA.w}{||w||}$$

$$d=\frac{|f(x,w)|}{||w||}$$

3-5 在Logistic回归中，是否可以用$\hat{y}=\sigma (w^{T}x)$去逼近正确的标签y,并用平方损失$(y-\hat{y}{)}^2$最小化来优化参数$w$？

$$\sigma (x)=\frac{1}{1+exp(-x)}$$
可以用$sigmoid$函数去逼近正确的标签，但是并不建议用均方误差来优化函数，习题2-1中已经说过了。

$$E=\frac{1}{2}(y-\hat{y}{)}^2$$
这里均方误差加入常数项是为了求导方便，并不影响最终的结果。
下面开始公式推导

$$\hat{y}=\sigma (w^{T}x)$$

$$\frac{\partial E}{\partial x}=\frac{\partial E}{\partial \hat{y}}\frac{\partial \hat{y}}{\partial x}=\hat{y}(1-\hat{y})(y-\hat{y})$$

更新公式为

$$w=w-\mu \frac{\partial E}{\partial X}=w-\hat{y}(1-\hat{y})(y-\hat{y})$$

由$sigmoid$函数可以知道，值域位于$[0,1]$之内。所以最后所得出来$\hat{y}-(1-\hat{y})(y-\hat{y})$函数值极小。更新速率贼慢，不适用。虽然龟兔赛跑最后乌龟赢了，但是那是在兔子睡着的情况下，如果能当兔子还是当兔子。

习题3-6 在Softmax回归的风险函数中，如果加上正则化会有什么影响？

风险回归函数为，同时也是正则化前的函数$R_1(w)=\frac{1}{N}{\sum }_{n=1}^N(y^{(n)}{)}^{T}log{\hat{y}}^{(n)}$

正则化后函数$R_2(w)=\frac{1}{N}{\sum }_{n=1}^N(y^{(n)}{)}^{T}log{\hat{y}}^{(n)}$

正则化前更新参数$w=w-\frac{\partial R1(w)}{\partial w}$

正则化后更新参数$w=w-\frac{\partial R2(w)}{\partial w}-2\lambda w$

通过观察前后的式子可知，正则化后每次都多减去$2\lambda w$

最终求出来的参数$w$比正则化之前的小，所以最后的参数比较小，不会造成过拟合。

电子纸质版

3-1

3-5

3-6