NNDL作业2：第三章课后题

习题3-2：
在线性空间中，证明一个点x到平面$f(x,w)=w^{T}x+b=0$的距离为$|f(x;w)|/||w||$.
这就是立体几何的拓展问题，具体证明如下：
对于任一点$x_0=(x_1^0,x_2^0,....,x_n^0{)}^T$,设其在超平面$w^{T}x+b=0$上的任一点为$x_1$,则$w^T{x}_1+b=0$,且向量$x_1{x}_0$与超平面的法向量夹角为$\theta$

$\left|w^T\ast x_1{x}_0\right|=|||w||\ast cos\theta ||x_1{x}_0|||=|||w||\ast d$
d为点$x_0$到平面的距离

将上面两个式子导入第一个可求

$d=\frac{|w^T{x}_0+b|}{||w||}$

$d=|f(x;w)|/||w||$.

习题3-5：
在Logistic回归中，是否可以用$\hat{y}=\sigma (w^{T}x)$去逼近正确的标签y ,并用平方损失$(y-\hat{y}{)}^2$最小化来优化参数$w?$

可以但是效果不好，因为在分类种使用sigmoid对于错误分类的不会有梯度，但是均方误差会有，导致均方误差损失会下降的比较慢不太合适。

习题3-6：
在Softmax回归的风险函数（公式（3.39））中，如果加上正则化项会有什么影响？

所谓的正则化项在最优化中的罚函数法，加上之后更容易使迭代收敛，防止因加上的罚函数的相关参数导致的参数变化而导致的不收敛。