关于Ubuntu多显卡服务器，掉显卡的问题

20220222更新：

之前屏蔽了nouveau之后，本来以为就无法进入桌面了，但是没成想一切正常，也确实很长一段时间不掉显卡了。后来突然有一次，同事发现怎么驱动没有了，就是nvidia-smi看不到数据了，然后装好后过了一会儿又开始掉卡。重启后，发现无法进入桌面了，就是输入密码后，电脑变得巨卡，也不会跳转进桌面，但是进入命令行模式，一切正常，也可以进行训练。又过了一个月，期间也不再掉卡我们通过ssh进入系统来进行训练。

最近再一次重启电脑，发现突然能进桌面了，本以为恢复正常的时候，发现驱动又没了，之后就是每次重启都需要再装一次驱动。后来训练的时候，发现还是有掉卡的现象。此时老板已经非常烦了，打算退了算了，服务器那边说，要不试试打开显卡的内存常驻模式，我也查了下频繁掉驱动怎么解决。

最终是，1，通过nvidia-smi -pm 1来启动显卡的内存常驻模式，该命令需要sudo权限，开机启动，尝试使用rc.local的方式发现，Ubuntu18没有这种模式了，按网上说法打开也不行，然后是写个脚本在/etc/pofile.d中，将登录用户sudo设为无需密码，可行。

2，删除多余内核，网上说，掉驱动可能跟当前系统使用的内核有关，那我干脆就只保留当前内核总行了吧。

一番折腾之后，重启，桌面又进不去了，之前不知有没有提过，这个服务器虽然有8张显卡，但是他是通过集显连接显示器的，个人猜测就是nouveau这个驱动就是对应的集显，这个驱动禁用了，集显就不能提供支持了，这个我是这么理解的，虽然可以改为通过显卡提供显示，但是机器没有预留孔，显卡直接怼上风扇了，那就不要桌面了吧。然后通过ssh可以看到驱动也不会一重启就掉了，显卡到目前也没有再掉了，然后继续观察吧。个人猜测掉显卡的最终原因还是和nouveau冲突，然后还有内核版本众多，搞乱了。

以下是原文：

前几天公司斥巨资买了台8卡服务器，3080ti，算是非常新的电脑了吧，送来的时候装了Ubuntu，估计是服务器版，开机就是命令行，虽然我觉得还好，但是老板还是让装个桌面，方便大家玩儿。

直接说现象，就是跑了个训练后，在nvidia-smi的界面上会看到，突然掉了一个卡，然后再训练，还会继续掉，非常费解，找来服务器人员，也很费解，也找不到有用的日志。

后来他意外发现掉卡的时候，系统也会爆一个错，追溯了一下，和nouveau有关，我们都很奇怪，这个不是屏蔽了么。然后我回想了下，这东西，以前在装cuda或是nvidia驱动的时候，查攻略都是需要手动屏蔽再玩儿的，但是后来的版本，都没有这方面的说法了，而且安装也不会有问题，我就没再这么做了，莫非与此相关，于是加入blacklist，问题解决，至少是这么些天没再发现了。

简单吐槽下，服务器厂家对我们要装cuda表示很不解，然后要装桌面更不解，后来重装系统测试的时候，直接装的ubuntu桌面版。我说，别的公司可能要这个服务器，就是跑几个程序，然后一直静默运行就好了，我们深度学习，就是要不停折腾的，使用场景不一样。

最后，我这边机器还是挺多的，但大多是双卡或者单卡机器，其实也有掉卡的情况，一般就是敲nvidia-smi的时候会报一个错，什么mismatch啥的，反正重启就好了，就一直没有深究，估计也是这个原因导致的，所以，建议那个nouveau还是屏蔽掉吧，毕竟服务器重启一次还是好麻烦的。