PyTorch编译尝试笔记

发现手上的GT-740M，已经太老，算力3.0，早被pytorch抛弃，想要学习下深度学习，基于没好卡，刚好时间还有点，花了一天的时间编译了一下，发现显存是个大难题，可以把数据或模型搞小点吧！
主要参考了这两个，基本上是个体力活，只按按照版本来的话是不会报错的，当然，也是挺花时间的，需要6个小时以上，i3-3120M，双核2.5G Hz的CPU。
Windows环境下老显卡跑PyTorch GPU版本【图文】_mob604756e4006a_51CTO博客

https://blog.csdn.net/qq_43051923/article/details/108393510

所需软件下载安装

这里cuda已经安装过了10.1，还需要编译所需的几个软件和组件。

# vs
https://download.visualstudio.microsoft.com/download/pr/067fd8d0-753e-4161-8780-dfa3e577839e/4776935864d08e66183acd5b3647c9616da989c60afbfe100d4afc459f7e5785/vs_BuildTools.exe
# cudnn
https://ossci-windows.s3.amazonaws.com/cudnn-10.1-windows10-x64-v7.6.4.38.zip
解压后直接复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1，对应文件夹会自动合并
https://s3.amazonaws.com/ossci-windows/magma_2.5.4_cuda101_release.7z

准备分享github的，发现文件大小限制100M，上传pypi，也是同样的限制，于是，分享到百度网盘了。
参考了多个链接，终于编译成功，不过2G显存的GPU实在hold不住大项目，学习用下还是可以的，欢迎测试反馈！
链接: https://pan.baidu.com/s/1IuX9K2mI2iR_J31d8aeYcQ?pwd=xy2s

解决out of memroy

显存不足可以有几个方法曲线救国

1. pytorch-LMS

已经不再活跃更新了，上一次更新是在2020年，conda可以安装1.3版本，只有linux版本，github上是1.5，如果win应该要编译下。
https://github.com/mtbrandy/pytorch

2. 使用koila

号称一行代码解决CUDA error: out of memory error，应该是最好的解决办法吧，看star已经有1.5K啦，应该不错。

1.3 并行计算？

能否使用一张显卡？ fairscale
最后，又发现一个AMD核显可用的ROCm，也就是AMD版的CUDA，Bruhnspace ROCm project for AMD APUs - Bruhnspace
不知道效果如何，鉴于AMD ROCm版本的Pytorch刚提供支持，可能坑比较多。

比官方的4830.7足足低了两个数量级呀，硬件差了不只一点呀，就学习用了！开心的是，batch改到200至少完成啦！

7.6. 残差网络（ResNet） — 动手学深度学习 2.0.0-beta0 documentation (d2l.ai)
看起来更像是CUDA核心数不够，利用率是锯齿形的。

看看谷歌的免费GPU的能力，差别是明显的！测试数据足够了。

TPU，可能是旧版本，或者资源给的不足，速度和我的740M差不多，而且还超时运行，不给资源啦！