NNDL 作业2：第三章课后题

习题3-2：

证明：

首先证明权重向量w与决策平面正交：

任取决策平面上向量a，有：

若两向量正交，则向量内积为0，所以w与平面正交。

设平面内有一点x'，使得x-x'垂直于此平面。

又因为w与平面正交，所以有x-x'平行于w，即：（k为常数).

因此点x到平面的距离为|k| ||w||.

因为，x'在平面内，所以满足

联立得，，将代入得：

，两边同时取模，得：

因此点x到平面的距离为.

 习题3-5：

不能。

若以平方损失最小来优化，

则权重w的更新公式为

结合sigmoid函数图像，

对它求导大部分情况都为0，即w的更新公式很难更新，也就是很难优化。

而以交叉熵损失函数来优化时，得到，发现权重w的更新与无关。

一个好的损失函数应该随着的增大而减小。上式表明当误差很大的时候，权重w更新比较快；误差小的时候，w更新的就慢。这样看，是一个很好的性质。

  习题3-6：

加入正则化后，

则

w的更新公式为：

即在每一次的更新参数中都要减去，使得新的参数不会太大，也就不会造成溢出的错误发生，抑制了过拟合的发生。要注意的是，Softmax回归中使用的c个权重向量是冗余的，即对所有的权重向量都减去一个同样的向量，不改变其输出结果．因此，Softmax 回归往往需要使用正则化来约束其参数．

 参考文章：《神经网络与深度学习-邱锡鹏》习题解答-第3章 线性模型 - 知乎