win10双系统ubuntu安装+卸载&driver+cuda+cudnn+anaconda+mxnet编译(好文推荐+实际动手填坑系列)

写在 2021.8.4 的话,最近刚弄的这些,许多东西还记得,如果大家有什么问题,可以在评论区留言,我应该能回答上来一些。

安装参考:

(root空间分配那儿要注意,我一开始是分配20G,结果还在安装cuda时就报磁盘空间不足了,这篇文章是建议root分区分配25-30G,我个人为了以防万一,决定分配35G)

https://www.cnblogs.com/masbay/p/11627727.html

卸载参考:

https://blog.csdn.net/guikunchen/article/details/88077330

(由于新手操作,造成了很多不可挽回的问题,所以选择卸载重装,多亏了这两篇博文的加持,简直绝佳,在此倾情推荐)

注意点:

1、安装时,问你“迷你安装”还是“正常安装”,建议选择“正常安装”,否则像我一样,可能装个中文输入法都搞到不得不重装系统,这些是在我第一次安装时选择“正常安装”之后没有出现的问题。

2、系统安装后先执行:sudo passwd 以设置root账户与密码

还有apt install vim,把文件编辑命令安装好

3、全程都尽量不要执行:apt-get upgrade 该命令谨慎使用(可能会造成内核与驱动版本不兼容,操作复杂,我暂时也不知道什么情况下可以放心使用)

网上很多人都会诱惑你去执行这个命令,因为重装过一次,知道其厉害,所以尽量避开。

目前为止,我已成功安装driver+cuda+cudnn+anaconda,还有许多其他的小命令,也并未用到该行命令,或许可以说明,该行命令在此处并非必须。

4、此步可能非必要:选择合适的源,在“软件&更新”中选择“ubuntu software”,打开下拉框“download from”,选择“other”,点击“select best server”,自动检测到最佳源之后,确定退出,“reload”。

5、中文输入法:讲真在浏览器搜索信息还是需要中文的,不过非常不建议安装“搜狗输入法”,很容易出问题,我就因此导致黑屏不得不重装了,这里建议安装最简单的中文输入法

请参考:https://blog.csdn.net/liminwang0311/article/details/105876828

简单概括为:

sudo apt-get update 

sudo apt-get install language-pack-zh-hans

sudo apt install ibus-libpinyin

sudo apt install ibus-clutter

重启,然后在设置里面,“region & language”一栏,增加“chinese(intelligent pinyin)”

6、安装nvidia驱动,我是采用的最简单的“软件&更新”里面的桌面式点击安装的方法(此前采用网上的sh *.run之类的方法自定义安装,多次无果,导致重装,后发现GUI操作很好,并没有出现任何问题)

请参考:https://blog.csdn.net/xue_csdn/article/details/102391145

需要注意的是,在安装驱动之前先运行:nvidia-smi,说不定系统已经安装好了,不用自行安装了

7、安装cuda前请安装好 gcc, 参考:https://blog.csdn.net/snowdream86/article/details/106580471

简述就是以下命令:

sudo apt install build-essential
gcc --version

8、关于cuda版本问题,参考:https://www.jianshu.com/p/eb5335708f2a 

主要告诉我们,nvidia-smi命令中显示的cuda版本是 driver api,而 nvcc -V 命令显示的cuda版本是 runtime api ,通常情况下,cuda版本 driver api >= runtime api 是没有问题的,也就是说 nvidia-smi命令中显示的cuda版本是我们可以安装的最高版本cuda。

9、安装cuda,cuda各个版本的下载地址:https://developer.nvidia.com/cuda-toolkit-archive

参考:https://blog.csdn.net/wm9028/article/details/110082553

https://www.jianshu.com/p/eb5335708f2a 中建议用runfile,原因是这个方法不会把已安装的最新的driver覆盖掉

10、runfile方式的cuda安装过程中需要作一些选择,可以参考:https://littlede.blog.csdn.net/article/details/109407098   这篇博文里面的相关截图,这里我描述下我自己的操作:

(1)我在安装cuda时,采用的是runfile,总共两条命令,一条下载,一条安装,安装是由于检测到已有driver,会问你 abort 还是 continue,此处选择 continue,即不重新安装driver,采用原driver。

(2)会问你是否接受用户协议(eula),输入“accept”

(3)按空格取消选中driver,然后选择 install

echo "#cuda" >> ~/.bashrc
echo "export PATH=/usr/local/cuda-11.1/bin:$PATH" >> ~/.bashrc
echo "export LD_LIBRARY_PATH=/sr/local/cuda-11.1/lib64:$LD_LIBRARY_PATH" >> ~/.bashrc
source ~/.bashrc

11、安装cuda时,遭遇磁盘空间不足的问题,root分区20G已经不够了,我决定把它变成35G

找到两种参考:(本人尚未尝试,这里仅作个人收藏,大家谨慎使用)

https://blog.csdn.net/tianweiqqww/article/details/52594500

https://blog.csdn.net/t765833631/article/details/79031063

12、cudnn下载地址:https://developer.nvidia.com/rdp/cudnn-archive

cudnn安装,参考:https://www.cnblogs.com/silence-cho/p/14524181.html

这里需要注意的是,将cudnn解压的include下面的所有头文件拷贝到cuda安装的路径(一般是/usr/local/cuda/include)。有些教程里面只拷贝cudnn.h,后面编译pytorch时会报错cuda的版本错误。

也可参考:https://blog.csdn.net/ashome123/article/details/105822040

13、安装anaconda

我的win10上面的anaconda占用空间为:虚拟环境(4-5个,19G)+ anaconda其他部(21G)=40G

我的ubuntu的空间占用情况:以上的一系列操作下来,我的root已经占了22G,而home还几乎没怎么用

我不知道在linux上会不会也这么大,原因主要是我是在笔记本上面安装的双系统,本身磁盘就不大,ubuntu系统我只分了80G,root只分了35G,现在还剩9G空间,所以我选择安装在home分区。

查看磁盘空间大小:https://blog.csdn.net/newjueqi/article/details/7054582

安装anaconda,参考:https://blog.csdn.net/drivery/article/details/108823253

14、我要安装mxnet-cu111,但目前官网并没有发布,只能自己编译,这部分我写在了我的另一篇博文里了https://blog.csdn.net/m0_37738114/article/details/119457074

以下是一些小tricks:

1、让git下载更高速且不需要镜像的方法(如果不能科学上网,该方法可以采用一下,因为很多默认下载网址都是非镜像的,这里设置一下可以减少一些麻烦),请参考:https://zhuanlan.zhihu.com/p/58006202

简述就是:在https://www.ipaddress.com/网址分别搜索关键词:

github.global.ssl.fastly.net
github.com

会分别得到两个ip

/etc/hosts文件中添加:(两个ip根据具体情况设定)

windows的hosts文件地址:C:\Windows\System32\drivers\etc\hosts

199.232.69.194 github.global-ssl.fastly.net
140.82.112.3 github.com 

2、我的试错:在colab上面挂在谷歌硬盘之后,执行git clone 命令全程没有报错,很安全地下载了代码,然后从谷歌硬盘把代码下载下来。不知道是不是因为晚上不强的原因,谷歌硬盘的文件压缩包怎么也下载不下来,最后找到了一篇文章 https://www.jianshu.com/p/ea569ec63ada?ivk_sa=1024320u  通过MultCloud先把文件传到百度云盘,然后再下载下来。

这个方法的问题在于,里面有一些奇怪的文件,占很大,每一次转存之后或者下载之后,文件的大小都不一样,不敢贸然使用这样的文件,要是早知道 git submodule update --init --recursive 这行命令就好了,瞎折腾挺久。

不过这种方法如果用来下载谷歌其他的文件应该很稳妥,就是非常慢,最快的方法还是找淘宝下载,不大的文件1-2元即可,速度非常快!

3、查看显卡算力:(我的RTX3060对应的也是sm_86架构的)

博文参考:https://blog.csdn.net/weixin_43760844/article/details/115706289

官网查询地址:https://developer.nvidia.com/zh-cn/cuda-gpus#compute

你可能感兴趣的:(日常,Linux与工具,win10双系统,ubuntu安装与卸载)