神经网络与深度学习 作业2：第三章课后习题

习题3-2：在线性空间中，证明一个点到平面的距离为.

证明：设平面内有一点,使得垂直于此平面，因为垂直于此平面，因此又有平行与。

即：(为常数),因此点到平面的距离为,

又因为且。所以。

代入，得到。

对两边同时取模得到：,

距离为。

习题3-5：在Logistic回归中，是否可以用去逼近正确的标签 ,并用平方损失最小化来优化参数？

在Logistic回归中可以用sigmoid函数去逼近正确的标签 ,但用平方损失最小化来优化参数则不太可行。

 

其中： 

因此，更新公式为：

因为sigmoid函数值域为[0,1],所以的函数值非常小，更新速率特别慢，因此不太适用。

习题3-6：在Softmax回归的风险函数（公式（3.39））中，如果加上正则化项会有什么影响？

加上正则化后：

则：

由此可得的更新公式为：

加入正则化后，使得在更新参数时每次都要减去,使得新的参数不会太大，也不会造成溢出错误的发生，抑制了过拟合的发生。

Softmax回归中使用的个权重向量是冗余的，即对所有的权重向量都减去一个同样的向量 ，不改变其输出结果。因此，Softmax回归往往需要使用正则化来约束其参数。此外，我们还可以利用这个特性来避免计算Softmax函数时在数值计算上溢出问题。

参考文章： 

邱锡鹏《神经网络与深度学习》—— 部分习题答案整理_小笠凹的博客-CSDN博客_神经网络与深度学习课后习题