深度学习期中复习

第一章

深度学习和机器学习差异

机器学习

基本问题：分类，回归，聚类，降维

算法：KNN，贝叶斯，决策树，SVM，逻辑回归，随机森林，集成学习

改变结构，实现不同的玩法，适应不同场合

深度学习

主要是解决分类，回归，模拟

感知机，多层神经网络，卷积，递归，GAN

统一的计算单元，通过变换参数和连接实现不同应用场合

1.深度学习与机器学习的主要区别是在于性能。当数据量很少的时候，深度学习的性能并不好，因为深度学习算法需要大量数据才能很好理解其中蕴含的模式。

2.深度学习算法严重依赖高端机，而传统的机器学习算法在低端机上就能运行。深度学习需要GPUs进行大量的矩阵乘法运算。

3.由于深度学习中含有非常多的参数，较机器学习而言会耗费更多的时间。机器学习在训练数据的时候费时较少，同时只需几秒到几小时。

第二章

1. 画出三个输入特征的感知机模型，以及模型的数学表达式

 

 

 

1. 感知机的训练流程（训练过程搞定二分类）

 

1. 确定初始化参数w和b。
2. 搭建感知器模型。
3. 利用反向算法，完成权重系数的调整。
   注：初始化参数可以任意设定，最终都会根据反向算法完成收敛。

第三章（多层神经网络）

1. 梯度反向传播，推导过程
2. 
3. 

 

1. 激活函数（sigmoid和Tahn和relu（输入层）和softmax（互斥多分类））和应用场景
2. 

 

 

 

 

1. 损失函数，计算题神经网络真实标签算最小二乘损失，MAE损失，交叉损失。
2. 

 

 

 

1. 神经网络的训练流程

1. 定义一个包含多个可学习参数（权重）的神经网络；
   2、对输入的数据集进行迭代计算；
   3、通过多层网络结构来处理输入数据；
   4、计算损失值（输出值与目标值的差值）；
   5、反向传播梯度到神经网络的参数中；
   6、根据更新规则来更新网络中的权重值。
2. 

 

 

 

• pytorch深度学习框架

1.Numpy的CPU计算模型，和Cuda的CPU+GPU模型

CPU:  通用计算，串行计算，多核计算，多进程多线程模型。一个曹操刘备

GPU：专门做图像运算，简单运算单元，并行计算，Cuda计算。1万个小兵

 

 

2.给你PyTorch代码，你要能够解释它在干什么

给代码加注释