NNDL 作业2：第三章课后题

目录

习题3-2

习题3-5

习题3-6

---

习题3-2

在线性空间中，证明一个点到平面的距离为。

答：

设平面内有一点，使得垂直于此平面,

又因为垂直于此平面，所以有平行于

即:(k为常数)

因此点到平面的距离为

又

所以

代入

两边同时取模:

得到点到平面的距离为

证明完毕

习题3-5

在Logistic回归中，是否可以用去逼近正确的标签，并用平方损失最小化来优化参数？

答：

结论为：在使用sigmoid为激活函数时，不能使用平方损失作为损失函数,效果远不如交叉熵损失函数。

(1)当以平方损失作为loss function时：

 

由sigmoid函数图可知，横坐标较小或较大时，sigmoid函数趋于平缓，因此在大多数情况下其导数几乎为0，导致几乎为0，很难去优化。

（2）当以 cross entropy 作为 loss function时：

可以看到梯度公式中没有这一项，权重受到误差的影响，所以当误差大的时候，权重更新快；当误差小的时候，权重更新慢。这是一个很好的性质。

所以当使用sigmoid作为激活函数的时候，常用交叉熵损失函数而不是用均方误差损失函数。

习题3-6

在 Softmax 回归的风险函数中，如果加上正则化项会有什么影响？

答：

Softmax 回归的风险函数公式：

加入正则化后：

则

更新参数时：

加入正则化后，在更新参数时每次需要减去，使得参数不会太大，便不会造成溢出之类的错误发生，同时也会抑制过拟合。

Softmax回归中使用的个权重向量是冗余的，即对所有的权重向量都减去一个同样的向量 ，不改变其输出结果。因此，Softmax回归往往需要使用正则化来约束其参数。此外，我们还可以利用这个特性来避免计算Softmax函数时在数值计算上溢出问题。