深度学习挑选GPU心得体会

现附上一波结果图

结果清晰明了。

感谢深度学习如何挑选GPU？一文。https://mp.weixin.qq.com/s/lYf8qP4R3NCf4s3eh7c7-A

感谢教你如何挑选深度学习GPU一文
https://blog.csdn.net/qq_38906523/article/details/78730158

选择 GPU 的时候，我们在选择什么？

和深度学习相关的主要 GPU 性能指标如下：

内存带宽：GPU 处理大量数据的能力，是最重要的性能指标。

处理能力：表示 GPU 处理数据的速度，我们将其量化为 CUDA 核心数量和每一个核心的频率的乘积。

显存大小：一次性加载到显卡上的数据量。运行计算机视觉模型时，显存越大越好，特别是如果你想参加 CV Kaggle 竞赛的话。对于自然语言处理和数据分类，显存没有那么重要。

1. GPU差距在哪里？

以下是针对不同深度学习架构的一些优先准则：

Convolutional networks and Transformers: Tensor Cores > FLOPs > Memory Bandwidth > 16-bit capability

Recurrent networks: Memory Bandwidth > 16-bit capability > Tensor Cores > FLOPs

2.NVIDIA/AMD/Google哪家强？

NVIDIA的标准库使在CUDA中建立第一个深度学习库变得非常容易。早期的优势加上NVIDIA强大的社区支持意味着如果使用NVIDIA GPU，则在出现问题时可以轻松得到支持。但是NVIDIA现在政策使得只有Tesla GPU能在数据中心使用CUDA，而GTX或RTX则不允许，而Tesla与GTX和RTX相比并没有真正的优势，价格却高达10倍。

AMD功能强大，但缺少足够的支持。AMD GPU具有16位计算能力，但是跟NVIDIA GPU的Tensor内核相比仍然有差距。

Google TPU具备很高的成本效益。由于TPU具有复杂的并行基础结构，因此如果使用多个云TPU（相当于4个GPU），TPU将比GPU具有更大的速度优势。因此，就目前来看，TPU更适合用于训练卷积神经网络。

3.公开的一些测评结果

• Tim Dettmers

最上面的结果就是这项研究得到的结论
卷积网络（CNN），递归网络（RNN）和transformer的归一化性能/成本数（越高越好）。RTX 2060的成本效率是Tesla V100的5倍以上。对于长度小于100的短序列，Word RNN表示biLSTM。使用PyTorch 1.0.1和CUDA 10进行基准测试。

从这些数据可以看出，RTX 2060比RTX 2070，RTX 2080或RTX 2080 Ti具有更高的成本效益。原因是使用Tensor Cores进行16位计算的能力比仅仅拥有更多Tensor Cores内核要有价值得多。
https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/

• Lambda
  

https://lambdalabs.com/blog/best-gpu-tensorflow-2080-ti-vs-v100-vs-titan-v-vs-1080-ti-benchmark/

https://lambdalabs.com/blog/choosing-a-gpu-for-deep-learning/

4.一些小tips

首推：
RTX 2070 GPU

不要买：
Tesla；Quadro；Founders Edition；Titan RTX，Titan V，Titan XP等型号

土豪必备：
RTX 2080 Ti