动手学深度学习打卡

一、线性回归
1.步骤:导入数据集,初始化模型参数,定义模型,定义损失函数,定义优化函数,训练。
2.矢量相加优于按元素逐一做标量加法。
二、softmax与分类模型
1.Softmax回归同线性回归一样,也是一个单层神经网络。
2.交叉熵损失函数,只关心对正确类别的预测概率,因为只要其值足够大,就可以确保分类结果正确。
3.Fashion-MNIST,多类图像分类数据集
三、多层感知机
1.神经网络引入了隐藏层,却依然等价于一个单层神经网络。
2.上述问题的根源在于全连接层只是对数据做仿射变换(affine transformation),而多个仿射变换的叠加仍然是一个仿射变换。引入非线性变换,例如对隐藏变量使用按元素运算的非线性函数进行变换,然后再作为下一个全连接层的输入。这个非线性函数被称为激活函数(activation function)。
3.ReLU(rectified linear unit)函数,sigmoid函数,tanh(双曲正切)函数。
4.激活函数选择:ReLu函数是一个通用的激活函数,目前在大多数情况下使用。但是,ReLU函数只能在隐藏层中使用;用于分类器时,sigmoid函数及其组合通常效果更好。由于梯度消失问题,有时要避免使用sigmoid和tanh函数;在神经网络层数较多的时候,最好使用ReLu函数,ReLu函数比较简单计算量少,而sigmoid和tanh函数计算量大很多。

你可能感兴趣的:(动手学深度学习打卡)