lgg7深度详细参数_深度学习显卡参数详细对比

这里，我们列出了英伟达近年来各种适合深度学习的显卡的详细参数，并作出一些说明，方便大家根据自己的需求挑选适合自己的显卡。直接上图（小编整理了好半天）。

怎么看这张图呢，主要看几个关键的性能指标。

1. 单精度浮点数运算速度

单精度浮点数，也就是FP32，tensorflow里面的tf.float32，是我们最常用的数据精度，也是各个深度学习框架默认的数据精度。可以看出，在这项性能指标上，各个显卡的差距都不是很大。综合性价比，这里推荐2080Ti, 2080以及1080Ti。

2. 显存大小

显存即显卡内存，决定了我们一次读入显卡进行运算的数据多少(batch size)和我们能够搭建的模型大小(网络层数、单元数)，是对深度学习研究人员来说很重要的指标，可以看到RTX 8000拥有48GB的最大显存，Tesla V100 32GB版具备32GB显存，不过这些卡的价格都太昂贵了，这里小编更推荐2080Ti以及1080Ti。如果确实需要大显存，更实惠的方案是购买两张TITAN RTX，并通过Nvlink组成双卡实现显存共享，享受48GB和两张卡的算力。

3.半精度浮点数运算速度

如果对运算的精度要求不高，那么就可以尝试使用半精度浮点数进行运算。这个时候，Tensor核心就派上了用场。Tensor Core专门执行矩阵数学运算，适用于深度学习和某些类型的HPC。Tensor Core执行融合乘法加法，其中两个4*4 FP16矩阵相乘，然后将结果添加到4*4 FP16或FP32矩阵中，最终输出新的4*4 FP16或FP32矩阵。NVIDIA将Tensor Core进行的这种运算称为混合精度数学，因为输入矩阵的精度为半精度，但乘积可以达到完全精度。Tensor Core所做的这种运算在深度学习训练和推理中很常见。所以，购买具备Tensor Core的显卡战未来吧。英伟达宣称使用Tensor Core进行矩阵运算可以轻易的在训练时达到2-5倍的提速，同时降低一半的内存访问和存储。不仅提升运算速度，还能把显存占用减半，这样的好事就是由Tensor Core实现的。这里推荐RTX系列，例如2080Ti。需要注意的是采用上一代Pascal架构的显卡，比如1080Ti和TITAN Xp并没有Tensor Core这样的专门计算单元,所以半精度浮点数性能很差。

混合精度训练带来的好处具体可以参考这里

Dreaming.O：浅谈混合精度训练​zhuanlan.zhihu.com

4.双精度浮点数运算速度

适合对精度要求非常高的专业人士，例如医学图像，CAD。但是双精度浮点数性能高的都是价格十分昂贵的型号了，大家选购时没有特殊需要不建议参考这项指标。

5.不同类型的神经网络的指标参考顺序

对于不同类型的神经网络，主要参考的指标是不太一样的。下面给出一种指标顺序的参考：

卷积网络和Transformer：Tensor核心数>单精度浮点性能>显存带宽>半精度浮点性能

循环神经网络：显存带宽>半精度浮点性能>Tensor核心数>单精度浮点性能

可以看到，主流显卡的显存带宽是差不多的，至少400GB/s的速度在正常使用中完全不是瓶颈。至于Tensor核心数，只要不是上一代的Pascal架构，主流的显卡tensor核心数也是完全够用的。我们认为，对于做深度学习的同学来说，主要的参考指标应该是单精度浮点性能以及显存大小，次要参考指标是半精度浮点性能（tensor核心数）。

******************************************************************************************

综上所述，不同的显卡适合不同的人士。老黄还是非常精明的，越专业的地方比如大显存和双精度运算性能，越是价格高昂。不过对于我们来说，做深度学习使用老黄的游戏卡就行，这里十分推荐2080Ti，适中的价格、突出的性能和支持混合精度训练，的确很香。

最后，对于各位同学来说，配置一台自己的GPU服务器太贵了，一张RTX小两万，一张2080Ti小一万，让人望而却步。对于新手，有个能随时练手的GPU服务器还是很重要的，给大家推荐深极智能云算力（topgpu.top）平台，可以用较小的投入使用强大GPU服务器，1080Ti每卡时不到1块钱，2080Ti每卡时不到2块钱，让人人都能跑深度模型！

欢迎大家关注我们的微信公众号--深极智算，关注后即可获取24小时时长的免费算力入口。

深极智算(TopGPU)使用教程​mp.weixin.qq.com