解决方案:aarch64 ARM架构下安装Miniconda + 离线迁移Conda环境的全流程 踩坑避坑指南

目录

  • 一、安装Miniconda
    • 1.1、确认本机架构
    • 1.2、下载Miniconda安装包
    • 1.3、安装Miniconda
  • 二、离线配置Conda环境
    • 2.1、查看本机配置
    • 2.2、迁移虚拟环境
    • 2.3、可能遇见的报错
  • 最后

在ARM架构下,由于Anaconda并不提供官方的ARM版本,在很多情况下强行在ARM系统中安装Anaconda会出现很多未知错误。因此更适合安装Miniconda。Miniconda是Anaconda的一个精简版本,它只包含conda包管理器和最基本的库,因此在资源受限的环境下更加适用。

本博客记录在华为多瑙 HPC集群的服务器下离线安装Miniconda和迁移虚拟环境的全过程。

一、安装Miniconda

1.1、确认本机架构

在安装前需要查看本机的系统架构,确认机器为ARM架构,输入指令:uname -m,如果返回结果为aarch64:

解决方案:aarch64 ARM架构下安装Miniconda + 离线迁移Conda环境的全流程 踩坑避坑指南_第1张图片
aarch64表示系统的 CPU 架构是 ARM 64 位架构(ARMv8-a),表明本机无法使用传统的 x86 架构的软件,所以建议不安装Anaconda,而是Miniconda。

1.2、下载Miniconda安装包

进入Miniconda下载官网:https://conda.io/en/latest/miniconda.html
可以看到Miniconda为我们提供了多种配置的安装包,包括Windows、macOS的x86,M1芯片,Linux的aarch64、ppc64le、s390x等多种架构
解决方案:aarch64 ARM架构下安装Miniconda + 离线迁移Conda环境的全流程 踩坑避坑指南_第2张图片
根据机器的架构,点击对应的安装包进行下载,下载后是一个Miniconda3-latest-Linux-aarch64.sh文件,放置到服务器上。

1.3、安装Miniconda

cd到对应目录,bash启动刚刚的sh文件,这里使用终端输入:bash Miniconda3-latest-Linux-aarch64.sh
解决方案:aarch64 ARM架构下安装Miniconda + 离线迁移Conda环境的全流程 踩坑避坑指南_第3张图片
进入安装程序后,会返回用户协议,一直enter到最后,输入yes同意协议:
解决方案:aarch64 ARM架构下安装Miniconda + 离线迁移Conda环境的全流程 踩坑避坑指南_第4张图片
然后会弹出一个询问您是否希望更新您的shell配置文件(例如.bashrc或.zshrc),以便在启动时自动激活Conda环境,并在激活时更改命令提示符
解决方案:aarch64 ARM架构下安装Miniconda + 离线迁移Conda环境的全流程 踩坑避坑指南_第5张图片
如果您选择“yes”,则Conda将被初始化为在每次启动时都自动激活基础环境(默认情况下为“base”环境),并且在激活时会显示Conda环境的名称。
如果您选择“no”,则不会在启动时自动激活基础环境,您可以在需要时手动使用conda activate 激活环境。

这里可以随意选择,我这里选择yes,然后应该就安装成功了!

【重要】:安装成功后,需要重启终端,重新进入才能正式使用conda,验证conda是否安装成功可以使用conda --version命令,输出版本号即为成功:

在这里插入图片描述

二、离线配置Conda环境

2.1、查看本机配置

输出nvida-smi查看本机CUDA版本这里是12.3
解决方案:aarch64 ARM架构下安装Miniconda + 离线迁移Conda环境的全流程 踩坑避坑指南_第6张图片
所以必须要找一个基本架构类似的新机器安装ARM和CUDA12.3下的环境;
要注意的是,ARM架构下的PyTorch安装比较麻烦。可以参考这篇:国产arm架构安装pytorch一次踩坑记录

安装好后对虚拟环境使用进行conda-pack 进行conda 环境打包,打包流程可以看:解决方案:查看机器配置+如何迁移虚拟环境到离线机器

2.2、迁移虚拟环境

打包好后会得到一个 xx.tar.gz的文件,将该.tar.gz压缩包通过mobaxterm或者其他方式把 xx.tar.gz上传到目标服务器的miniconda里的envs/环境名目录里面,一般路径为用户名/miniconda3/envs/自己新建的环境名
解决方案:aarch64 ARM架构下安装Miniconda + 离线迁移Conda环境的全流程 踩坑避坑指南_第7张图片
解决方案:aarch64 ARM架构下安装Miniconda + 离线迁移Conda环境的全流程 踩坑避坑指南_第8张图片

上传成功后,在目标服务器(离线的那个)上解压压缩包:tar -xzf xx.tar.gz,解压成功后,在目标服务器上查看虚拟环境:conda info --envs,显示如下,即表示迁移成功了。
解决方案:aarch64 ARM架构下安装Miniconda + 离线迁移Conda环境的全流程 踩坑避坑指南_第9张图片

2.3、可能遇见的报错

在跑程序的时候如果出现:cannot execute binary file: Exec format error这种错误,说明你正在尝试运行一个不同体系结构的可执行文件,或者文件本身可能已经损坏。极有可能的问题原因就是:你正在ARM架构下运行x86架构的编译!
在这里插入图片描述

这说明你的虚拟环境还是不太对,所有环境一定要是ARM架构下的才行,特别是PyTorch系列产品,要安装对应架构的才能避免这个报错。

最后

个人简介:人工智能领域研究生,目前主攻文本生成图像(text to image)方向

个人主页:中杯可乐多加冰

限时免费订阅:文本生成图像T2I专栏

支持我:点赞+收藏⭐️+留言

另外,我们已经建立了微信T2I学习交流群,如果你也是T2I方面的爱好者或研究者可以私信我加入。

你可能感兴趣的:(各种解决方案,arm开发,架构,conda,anaconda)