第一次作业，深度学习基础

视频学习

人工智能绪论

什么是人工智能

1956年“达特茅斯”会议上人工智能概念诞生

人工智能是使一部机器像人一样进行感知、认知、决策、执行的人工程序或系统

人工智能的三个层面

1. 计算智能
2. 感知智能
3. 认知智能

知识工程/专家系统

• 手工设计规则
• 结果易于解释
• 系统构建费时费力
• 依赖专家主观经验，难以保证一致性和准确性

机器学习

• 基于数据自动学习

• 减少人工繁杂工作，但结果可能不易于解释

• 提高信息处理的效率，且准确率较高

• 来源于真实数据，减少人工会泽主观性，可信度高

• 机器学习模型分类

  1. 根据数据标记分类

  • 监督学习模型

    • 数据标记已知
    • 目的在于学习输入
    • 输出映射

  • 非监督学习模型

    • 数据标记未知
    • 目的在于发现数据中模式/有意义信息

  • 半监督学习

    • 部分数据标记已知
    • 监督学习和无监督学习的混合

  • 强化学习

    • 数据标记未知，但知道与输出目标相关的反馈（奖励反馈）
    • 决策类问题

  2. 根据数据分布分类

  • 参数分布：线性回归，逻辑回归，感知机，k均值聚类

  • 非参数分布

    不对数据分布进行假设，数据的统计特性来源于数据本身

  ​ k近邻，svm，决策树，随机森林

  3. 根据建模对象分类

  • 生成模型

  • 判别模型

深度学习概述

深度学习的不能

• 算法不稳定，容易被攻击；比如一张图像加入噪声或像素点更改就会产生完全不同的输出结果
• 模型复杂度高，难以纠错和调试
• 模型层级复合程度高，参数不透明
• 端到端训练方式对数据依赖性强，模型增量性差；当样本数据量小的时候，深度学习无法体现强大拟合能力；深度学习可以进行语义标注和关系检测，但无法进一步完成图像描述（可能需要一个新的神经网络）
• 专注直观感知类问题，对开放性推理问题无能为力
• 人类知识无法有效引入进行监督，机器偏见难以避免

神经网络基础

M-P神经元

• 多输入信号进行累加\(\sum x_i\)

• 权值\(\omega_i\)正负模拟兴奋/抑制，大小模拟强度，输入和超过阈值\(\theta\),神经元被激活（fire）

  • \(\omega_0\)=-\(\theta\), \(x_0\)=1, \(\sum_{i=1}^{n}{\omega_ix_i}\) -\(\theta\) =\(W^TX-\theta\)

激活函数

• 为什么要有激活函数

  没有激活函数相当于矩阵相乘

  • 多层和一层一样
  • 只能拟合线性函数

• 激活函数举例

  

  sigmoid函数有饱和区，会导致

  1. 梯度消失问题(平缓区梯度几乎为0)
  2. 对于输入x，输出y的区分度不高

  tanh

  1. zero-centered
  2. 导数范围在（0，1）之间，相比sigmoid的(0, 0.25)，梯度消失问题会得到缓解，但仍然还会存在

  relu

  • 相比Sigmoid和tanh，ReLU摒弃了复杂的计算，提高了运算速度。
  • 解决了梯度消失问题，收敛速度快于Sigmoid和tanh函数，但要防范ReLU的梯度爆炸
  • 容易得到更好的模型，但也要防止训练中出现模型‘Dead’情况。

误差反向传播

梯度和梯度下降

​ 参数沿负梯度方向更新可以使函数值下降，但可能会陷入局部极值点，无法找到全局的极值点（与初始点位置）

三层前馈神经网络的BP算法

深层神经网络的问题：梯度消失

• 增加深度造成梯度消失，误差无法传播

• 多层网络容易陷入局部极值

  解决办法

  1. 使用三层神经网络
  2. 预训练，新激活函数

逐层预训练

1. 收敛更快

2. 结果更收敛

3. 

代码练习

图像处理基本练习

pytorch基础练习

!

螺旋数据分类

加入relu激活函数可以拟合非线性函数，拟合效果更好，relu的计算效率更高

回归分析

最后的结果可能是因为relu本身是线性分段函数，所以最后的结果表现出更多的线性性质