来源:深度之眼 作者:frank
编辑:学姐
本篇主要是帮助大家构建高性能、高性价比的AI开发的硬件平台。如何不把钱浪费到不必要的硬件上,并合理搭配硬件配置节省预算是本文想要去讨论的问题。如果预算充足,笔者建议购买一台AI主机,一方面用于日常代码的存放积累,另一方面跑部分比赛,日常debug学习别人的库。
在AI训练、测试中,需要长时间开机,笔记本并不是为此设计的,从散热和系统稳定性的角度而言都不是合适的,比如,你用笔记本跑了一天的实验,万一电脑温度太高直接死机了不仅浪费时间还损伤了电脑,并且笔记本设计紧凑,主板、固态等高温运行都会影响寿命,甚至会造成永久性损坏.
出于通勤的建议,笔者建议大家的型号有:
MacBook Air M1 16 + 256
MacBook Pro M1 16 + 256
(MAC直接拿来跑模型啥的还是很心疼的,跑python够用。所以一般是链接服务器使用,毕竟操作指令比win用着好用。M1芯片的mbp确实非常强大,最重要的是发热不严重,甚至在Air版没风扇。不过新款MACBOOK已经搭载上M2了,大家也可以考虑新款!)
以上型号推荐是给理工科需要大型软件或者跑大量数据的这部分同学,计算机专业选i5差不多够用,不过i7用久一点。设计/建筑等需要渲染的直接MAC BOOK PRO,或者i7处理器的。
(根据自身实力购买,毕竟学计算机的一些学习需求,可以借助其他工具达到目的)
这部分重点主要介绍(人工智能专业)主机GPUx1/GPUx2的配置,GPUx4/GPUx8的配置会在1.8章节简单介绍,先放上笔者建议的结论,3080版本总计13000左右,3090版本总计21000左右(显卡加6000左右换成3090,电源换成1000w,其他不需要变即可)。
Ref: 2022年笔记本电脑CPU天梯图文章 https://zhuanlan.zhihu.com/p/376305519
CPU天梯图是按照CPU的跑分进行排序,进行综合性能对比、反映CPU性能优劣的一种量化标准。
CPU主要有两家品牌:Intel(触点式接口) 和 AMD(针脚式接口),此部分主要介绍Intel/AMD主流系列,其他系列会在2.6章节介绍。
eg:
CPU接口不同搭配的主板也不同,不同级别的CPU搭配不同级别的主板芯片组。
2.1.1 intel-酷睿12代系列
Ref:12代酷睿电脑配置文章
https://zhuanlan.zhihu.com/p/429099752
intel 12代酷睿系列CPU,需要搭配不同后缀标代表不同意思,eg:
需要搭配的主板型号
2.1.2 AMD-锐龙5000系列
Ref:AMD锐龙5000系列介绍文章
https://www.gamersky.com/news/202204/1479779.shtml
AMD锐龙5000系列,后缀含义
需要搭配的主板型号
2.1.3 主板介绍
主板中比较好的牌子:华硕、技嘉、微星. 中高端都是可以选择的. 不同的主板的版型,即大小:
EATX/ATX: 需要搭配大机箱,散热最好
mATX:比较合适
ITX:扩展性、散热有问题
在AI训练、测试用途中,CPU部分主要考虑的是核心&线程数量。笔者建议大家选购AMD 5900x型号,散片/盒装都可,CPU出故障率极低,这里不推荐12代酷睿的原因是 在Ubuntu系统中版本适配做的不好,比如大小核小分配任务的故障等... 另外关于主板的选择,如果你是刚读研要在一所学校待几年,那么完全可以配置一个ATX的大机箱放到工位,如果是要放到公司,建议配置mATX加一个小机箱。另外,主板一定要选择带蓝牙/wifi的配置,这样可以剩下一个PCIE插口,后续扩展硬盘都是非常方便的。
CPU散热器分为两种
在AI训练、测试用途中,CPU散热部分主要考虑的是噪音,风冷噪音实在太大,而水冷的风险是漏液,不过现在水冷都是5年质保、漏液包赔,再加上若干新型专利技术、不用担心漏液,笔者建议大家选购推荐品牌的240/360水冷. 预算充足的同学可以把水冷的散热风扇换成猫头鹰风扇散热. 如果实在担心漏液,可以考虑猫头鹰的风冷系列. (当然猫头鹰的风扇是非常贵的...但是在高风扇转速下是非常安静的!!
硬盘比较好的牌子:三星、铠侠、西部数据,硬盘按照接口主要分为两种
1)PCIE3.0/4..0
2)SATA:速度太慢,非常不推荐
在AI训练、测试用途中,硬盘部分主要考虑的是速度,容量其次,有时候GPU显存的利用率很低,很大的程度是硬盘IO瓶颈。由于B550/B660主板预留的PCIE接口只有两个,所以笔者推荐的是2T NVME PCIE3.0(装系统) + 1T NVME PCIE4.0. 存放有价值的数据集跟训练checkpoint是完全没问题的。后续如果想增加容量完全可以用PCIE扩展卡上面额外加固态即可。
其次关于容量,比如imagenet 138G. COCO 27G. 1T + 2T的配置完全够用
PCIE扩展卡的使用
#格式化新硬盘并挂载到新目录的方法
df –h # 查看分区以及挂载点
fdisk –l # 查看服务器上所有硬盘状态(已安装和未安装)
mkfs -t ext4 -c /dev/sdb1 # 格式化硬盘
mount /dev/nvme1n1 /home/wlsh/ssd # 创建新目录作为新硬盘挂载点
vim /etc/fstab # 开机自动挂载
/dev/nvme1n1 /ssd ext4 defaults 0 0
内存比较好的牌子:英睿达、海盗船、芝奇都可。
原则:内存的容量 > 2*GPU显存,越高越好
在AI训练、测试用途中,内存部分主要考虑的是容量,数据的处理流程是硬盘=>内存=>GPU显存,一定量的内存能保证我们进行数据预处理的时候能非常好的。频率不需要太高,建议适中3200即可,考虑到后续参加机器学习比赛需求。预算不足情况下32G即可。
Ref: AutoDL GPU算力排名
https://www.autodl.com/home
GPU与AI训练、测试相关的参数:
由于比特币的崩盘,这里推荐两款型号3080 12G(某型号降价到5000)/ 3090 24G(某型号降价到10000),笔者建议预算充足的同学选择3090. 牌子市面上的牌子都可。
笔者的实验室发生过2张2080ti+1200w 在满载跑模型的时候,主机断电重启的问题。经检查pytorch启动瞬时功率过大导致的。
建议:3080 12G 选用850w,3090选用1000w
牌子:振华、海韵都可
补充知识
NVIDIA GPU架构进化历史
在第三代的Kepler架构里,FP64单元和FP32单元的比例是1:3或者1:24。
第四代的Maxwell架构里,这个比例下降到了只有1:32。
第五代的Pascal架构里,这个比例又提高到了1:2,但低端型号里仍然保持为1:32。
其他Process Unit
从目前的实践来看,AI算法和传统HPC算法相比,对精度的要求低得多。因此我们看到很多AI芯片主要强调在FP16或者INT8中的精度。可以说,对目前AI芯硬件效率的提升,低比特精度有很大贡献。
Ref: 机箱风扇如何分配?文章
https://www.zhihu.com/question/320561511/answer/654827754
在AI训练、测试用途中,构建合理的机箱风道能保证CPU跟显卡的温度,在确定自己机箱需求后,笔者建议大家给机箱安装若干风扇组件合理风道是非常重要的。
GPUx4 or GPUx8: 在多GPU情况下、保证机器的稳定性是至关重要的,这时候就要选择更高系列的CPU。
1)Intel至强系列 4210R, 5218R, 6230R
2)AMD霄龙系列 7320, 7402, 74F3....
这些CPU比如支持ECC自动纠错内存、支持的CPU通道数更多、支持更高的PCIE通道等。
普遍租卡3090价格都在2R+/h,一天就是60+,还是非常贵的,如果暂时没有预算的话,笔者建议同学使用colab和恒源云,colab官方也有很好的入门教程。
关注下方《学姐带你玩AI》
<<打造舒适的AI环境>>系列更新中
码字不易,欢迎大家点赞评论收藏!