DeepLearning复习

1. 为什么分类问题不能用MSE损失函数？

为什么分类问题不能使用mse损失函数

2. Softmax 是线性运算还是非线性运算？ 证明你的答案。
当我们想要解决分类问题时，为什么我们需要在应用交叉熵损失之前应用 Softmax 函数？

softmax回归跟线性回归一样将输入特征与权重做线性叠加。且同线性回归一样，也是一个单层神经网络。

使用softmax运算后可以更方便地与离散标签计算误差。

3.你的一位从事 AI 工作的朋友告诉你，他们发明了一个非线性激活函数 f，其梯度显示在下图。 这是在神经网络中用作非线性的一个很好的候选者吗？

回归损失、二分类损失和多分类损失

4. 用于训练CNN 的最广泛使用的非线性激活函数是什么？为什么它优于其他先前提出的非线性激活函数？

ReLU函数

一方面，ReLU激活函数的计算更简单；另一方面，ReLU激活函数在不同的参数初始化方法下使模型更容易训练。

5. 计算网络中的参数总数

【深度学习】CNN计算

CNN中包含的张量大小和参数个数

6. 正则化L1范数与L2范数的理解

正则化项L1和L2的直观理解

机器学习中使用正则化 L1范数和L2范数的原因

7. CNN简单模型示例

CNN简单理解+PyTorch示例实现