深度学习期末复习

 

2. 感知机

2.1 感知机的结构图，

2.2 感知机的梯度下降法，算法流程

1. 确定初始化参数w和b。
2. 搭建感知器模型。
3. 利用反向算法，完成权重系数的调整。
   注：初始化参数可以任意设定，最终都会根据反向算法完成收敛。

 

 

 

 3.2激活函数有哪些，画出他们的图来，以及各自的应用场景和特点

 

 

 

 

 

 3.3神经网络的训练过程，思路写出来

 

 

 3.4 损失函数，常用的损失函数有哪些，表达形式（公式），适用场合

 

 3.5 神经网络训练过程中，过拟合（模型过于复杂（所包含的参数过多），以致于模型对训练集的拟合很好，但对未知数据预测很差的现象（泛化能力差）。）

 （1）增加训练数据量
①采集更多的数据；
②数据增广(image augmentation)：对已有数据做一系列随机改变，来产生相似但又不同的训练样本，从而扩大训练数据集的规模。

（2）减少模型复杂度
①减少隐层
②减少神经元个数

（3）添加正则项
tf.keras.regularizers.l2
用到的参数：
l：惩罚项，默认为0.01。

（4）提前终止（Early Stopping）训练的过程中，记录到目前为止最好的验证集结果，当连续10个Epoch（或者更多次）没有超越最佳结果时，则可以认为精度不再提高。

（5）Dropout

训练阶段：每个step以一定的概率p让神经元停止工作。
预测阶段：所有神经元都是工作的，但所有权值需要乘上(1-p)。

4.深度学习框架PyTorch

 

 

5.卷积神经网络

5.1 给你一段卷积神经网路的代码，你能够画出结构图来

 

 

 

 

 

 

5.2常用的卷积神经网络有哪些，以及发展历程

 

6. 循环神经网络

画出循环神经网络的图，给你图，你能够说明其运行原理

文本分类，你要知道基本的原理