Pytorch知识总结

1.关于Pytorch训练时模型的保存以及加载
问题描述：
设置每1000个epoch保存一次model
如何在已有模型的基础之上继续训练？

2.PYTORCH：
5.with torch.no_grad()或者@torch.no_grad()中的数据不需要计算梯度，也不会进行反向传播
6.一般用于pytorch训练模块
self.optimizer.zero_grad()
loss.backward()
self.optimizer.step()
这三个函数的作用是先将梯度归零（optimizer.zero_grad()），然后反向传播计算得到每个参数的梯度值（loss.backward()），最后通过梯度下降执行一步参数更新（optimizer.step()）
参考网址：https://www.jianshu.com/p/1cd6333128a1

1 model.train():

在使用pytorch构建神经网络的时候，训练过程中会在程序上方添加一句model.train()，作用是启用batch normalization和drop out。
model.eval():

测试过程中会使用model.eval()，这时神经网络会沿用batch normalization的值，并不使用drop out。

3.torch.from_numpy(ndarray) → Tensor
简单来说torch.from_numpy()方法把数组转换成张量，且二者共享内存

安装TensorRT的参考网址：
https://www.cnblogs.com/long5683/p/13360651.html
CmakeLists讲解：
https://blog.csdn.net/maizousidemao/article/details/104103279?utm_medium=distribute.pc_relevant.none-task-blog-2_defaultbaidujs_title~default-1.control&spm=1001.2101.3001.4242