关于Ubuntu多显卡服务器,掉显卡的问题

20220222更新:

之前屏蔽了nouveau之后,本来以为就无法进入桌面了,但是没成想一切正常,也确实很长一段时间不掉显卡了。后来突然有一次,同事发现怎么驱动没有了,就是nvidia-smi看不到数据了,然后装好后过了一会儿又开始掉卡。重启后,发现无法进入桌面了,就是输入密码后,电脑变得巨卡,也不会跳转进桌面,但是进入命令行模式,一切正常,也可以进行训练。又过了一个月,期间也不再掉卡我们通过ssh进入系统来进行训练。

最近再一次重启电脑,发现突然能进桌面了,本以为恢复正常的时候,发现驱动又没了,之后就是每次重启都需要再装一次驱动。后来训练的时候,发现还是有掉卡的现象。此时老板已经非常烦了,打算退了算了,服务器那边说,要不试试打开显卡的内存常驻模式,我也查了下频繁掉驱动怎么解决。

最终是,1,通过nvidia-smi -pm 1来启动显卡的内存常驻模式,该命令需要sudo权限,开机启动,尝试使用rc.local的方式发现,Ubuntu18没有这种模式了,按网上说法打开也不行,然后是写个脚本在/etc/pofile.d中,将登录用户sudo设为无需密码,可行。

2,删除多余内核,网上说,掉驱动可能跟当前系统使用的内核有关,那我干脆就只保留当前内核总行了吧。

一番折腾之后,重启,桌面又进不去了,之前不知有没有提过,这个服务器虽然有8张显卡,但是他是通过集显连接显示器的,个人猜测就是nouveau这个驱动就是对应的集显,这个驱动禁用了,集显就不能提供支持了,这个我是这么理解的,虽然可以改为通过显卡提供显示,但是机器没有预留孔,显卡直接怼上风扇了,那就不要桌面了吧。然后通过ssh可以看到驱动也不会一重启就掉了,显卡到目前也没有再掉了,然后继续观察吧。个人猜测掉显卡的最终原因还是和nouveau冲突,然后还有内核版本众多,搞乱了。

以下是原文:

前几天公司斥巨资买了台8卡服务器,3080ti,算是非常新的电脑了吧,送来的时候装了Ubuntu,估计是服务器版,开机就是命令行,虽然我觉得还好,但是老板还是让装个桌面,方便大家玩儿。

直接说现象,就是跑了个训练后,在nvidia-smi的界面上会看到,突然掉了一个卡,然后再训练,还会继续掉,非常费解,找来服务器人员,也很费解,也找不到有用的日志。

后来他意外发现掉卡的时候,系统也会爆一个错,追溯了一下,和nouveau有关,我们都很奇怪,这个不是屏蔽了么。然后我回想了下,这东西,以前在装cuda或是nvidia驱动的时候,查攻略都是需要手动屏蔽再玩儿的,但是后来的版本,都没有这方面的说法了,而且安装也不会有问题,我就没再这么做了,莫非与此相关,于是加入blacklist,问题解决,至少是这么些天没再发现了。

简单吐槽下,服务器厂家对我们要装cuda表示很不解,然后要装桌面更不解,后来重装系统测试的时候,直接装的ubuntu桌面版。我说,别的公司可能要这个服务器,就是跑几个程序,然后一直静默运行就好了,我们深度学习,就是要不停折腾的,使用场景不一样。

最后,我这边机器还是挺多的,但大多是双卡或者单卡机器,其实也有掉卡的情况,一般就是敲nvidia-smi的时候会报一个错,什么mismatch啥的,反正重启就好了,就一直没有深究,估计也是这个原因导致的,所以,建议那个nouveau还是屏蔽掉吧,毕竟服务器重启一次还是好麻烦的。

你可能感兴趣的:(小知识,服务器,ubuntu,运维)