刘二大人 PyTorch深度学习实践 笔记 P1 Overview

课程 基于PyTorch深度学习框架学习的实践课程

目的：

1、掌握PyTorch技能

2、理解深度神经网络

主要讲实践，不会讲太多推导的东西

3、视频链接：https://www.bilibili.com/video/BV1Y7411d7Ys?spm_id_from=333.999.0.0&vd_source=98cd69d3a65d8889ab015a48344b5e3e

P1 Overview

1、版本PyTorch 0.4

版本 PyTorch 0.4

原因： 版本基本用的都不是最新的，任何一个事物的发展都会有一个发展曲线。
应用发展期技术主要两个风险：

1. 迭代速度很快
2. 未来可能会消失
   所以企业基本都是使用应用期的技术，高校教授的课程也是如此，虽然不是最新的，但是很多基础性的内容不会发生太多变化。

自己要学会一个重要的能力：学会看文档

2、推理与预测

例子
推理：获取外部信息的输入 ==> 来进行推理

Q: 中午吃什么？ => 考虑因素：还有多少钱 and 个人偏好 => 推理
Q: 疫情在家中午吃什么？=> 家长做什么，就吃什么

Q: 今天穿什么(高中 )？ => 只能穿校服
Q: 今天穿什么(约会 )? => 穿漂亮的衣服

预测：把视觉上的接收到的信息转化为抽象概念

看到这样一个照片Image 与 一个抽象的概念 “猫” 联合起来

3、基本概念：人工智能与机器学习

人工智能： 算法来替代人脑对视觉信息进行处理的过程

机器学习： 一般常用的都是监督学习(拿出一组带有label的数据集，知道每一个图片的答案，建立模型，对模型进行训练，最终得到算法)

4、算法及其发展

算法课的思维方式(人工设计一套算法)：

1. 穷举 列举所有的可能，选择正确的
2. 贪心 每一步都选择当前最好的选择（梯度下降）
3. 分治 一分为二 快排
4. 动态规划

机器学习的算法： 不是人工算出来的，而是根据数据集把想要的算法找出来，这就是一个机器学习的过程，模型 - 训练 - 验证，如果好用的话，就可以部署了（基于统计的方法）
表示学习： 提取特征更好表示数据集（浅层）
深度学习： 感知机 神经网络 卷积神经网络等（业内应用、研究领域都比较热门）

早期基于规则： 输入，人工设计，输出

经典机器学习： 手工进行提取特征建立向量，与输出建立一个映射

传统表示学习： 特征提取器，学习期(分开进行)，输出 (SVM Family)
深度学习(端到端)： 简单特征，设计额外的层提取特征(监督学习)，接入到学习器(神经网络)，输出

维度诅咒
Q: 维数增加，数据需求量增大
A: 降维
eg: n维→3维 找到3n的矩阵即可
[ ] = [ ] [ ]
31 3n n1

SVM的缺陷：

1. 手工设计特征的限制
2. 处理大数据效果不是很好
3. 越来越多的无结构数据(图像、声音等)

神经网络 来源于神经科学(哺乳动物 获取特征的过程是分层的)

感知机： 信号加权求和输出(仿生学的算法) => 人工神经网络： 其中最重要的一个算法反向传播(求偏导数)

核心： 计算图 先进行正向计算(前馈)，损失函数到原子计算偏导

学会构建模型的套路，学会基本块怎么用，最后根据自己的需求构建自己的模型

5、好消息：

1. 深度学习不难，一年能上手
2. 算法可以用框架来直接实现的
3. 算法可以使用GPU，很快很高效
4. 提供了大量的卷积的模块
5. 流行的框架：TensorFlow PyTorch