深度学习期中复习

第一章

深度学习和机器学习差异

机器学习

基本问题:分类,回归,聚类,降维

算法:KNN,贝叶斯,决策树,SVM,逻辑回归,随机森林,集成学习

改变结构,实现不同的玩法,适应不同场合

深度学习

主要是解决分类,回归,模拟

感知机,多层神经网络,卷积,递归,GAN

统一的计算单元,通过变换参数和连接实现不同应用场合

1.深度学习与机器学习的主要区别是在于性能。当数据量很少的时候,深度学习的性能并不好,因为深度学习算法需要大量数据才能很好理解其中蕴含的模式。

2.深度学习算法严重依赖高端机,而传统的机器学习算法在低端机上就能运行。深度学习需要GPUs进行大量的矩阵乘法运算。

3.由于深度学习中含有非常多的参数,较机器学习而言会耗费更多的时间。机器学习在训练数据的时候费时较少,同时只需几秒到几小时。

第二章

  1. 画出三个输入特征的感知机模型,以及模型的数学表达式

深度学习期中复习_第1张图片

深度学习期中复习_第2张图片 

深度学习期中复习_第3张图片 

 

  1. 感知机的训练流程(训练过程搞定二分类)

 

  1. 确定初始化参数w和b
  2. 搭建感知器模型。
  3. 利用反向算法,完成权重系数的调整。
    注:初始化参数可以任意设定,最终都会根据反向算法完成收敛。

第三章(多层神经网络)

  1. 梯度反向传播,推导过程
  2. 深度学习期中复习_第4张图片
  3. 深度学习期中复习_第5张图片

 

  1. 激活函数(sigmoid和Tahn和relu(输入层)和softmax(互斥多分类))和应用场景
  2. 深度学习期中复习_第6张图片

 

深度学习期中复习_第7张图片

 

深度学习期中复习_第8张图片

深度学习期中复习_第9张图片 

 

  1. 损失函数,计算题神经网络真实标签算最小二乘损失,MAE损失,交叉损失。
  2. 深度学习期中复习_第10张图片

深度学习期中复习_第11张图片 

深度学习期中复习_第12张图片 

 

  1. 神经网络的训练流程
  1. 定义一个包含多个可学习参数(权重)的神经网络;
    2、对输入的数据集进行迭代计算;
    3、通过多层网络结构来处理输入数据;
    4、计算损失值(输出值与目标值的差值);
    5、反向传播梯度到神经网络的参数中;
    6、根据更新规则来更新网络中的权重值。
  2. 深度学习期中复习_第13张图片

深度学习期中复习_第14张图片 

深度学习期中复习_第15张图片 

 

  • pytorch深度学习框架

1.Numpy的CPU计算模型,和Cuda的CPU+GPU模型

CPU:  通用计算,串行计算,多核计算,多进程多线程模型。一个曹操刘备

GPU:专门做图像运算,简单运算单元,并行计算,Cuda计算。1万个小兵

深度学习期中复习_第16张图片

深度学习期中复习_第17张图片 

 

2.给你PyTorch代码,你要能够解释它在干什么

给代码加注释

你可能感兴趣的:(深度学习,python)