Pytorch学习第一天

1.神经网络

2.激活函数

（1）ReLu函数

（2）Sigmoid

（3）tanh

3.简单神经网络

（1）前向神经网络

（2）RNN

（3）CNN

4.Pytorch框架的优点

（1）动态计算图

（2）Pytorch代码通俗易懂，接近于Python原生代码，比较友好；

（3）支持性好；

5.应用

（1）图像分类

（2）Object detection

（3）CycleGan

（4）Image Captioning

（5）情感分析

（6）Question Answering

6.Pytorch概念

Pytorch是一个基于Python的科学计算库，有两个特点：

• 类似于NumPy，可以使用GPU进行计算；

• 可以用它自定义深度学习模型，可以灵活的进行深度学习模型的训练和使用；

7.Tensor类似于Numpy的ndarray，唯一的区别是Tensor可以在GPU上加速运算；

• 随机矩阵：torch.rand();

• 全0矩阵：torch.zeros();

• torch.size();或者x.shape();

8.numpy ndarray是一个普通的n 维array,是一种用来计算数学运算的数据结构。

9.Pytorch：Tensor和autograd

（1）torch.autograd——即只要定义了forward pass（前向神经网络），可自动进行求导。

（2）torch.nn

使用Pytorch autograd来构建计算图和计算gradients,再使用Pytorch计算gradient。

（3）optim

可以使用optim包来进行模型参数的更新。此包提供了各种不同模型的优化方法，包括SGD+momentum,RMSProp,Adam等。

（4）自定义 nn Modules