modelscope 多模态环境配置及问题解决

1 创建python环境

首先，参考文档 安装配置Anaconda环境。 安装完成后，执行如下命令为modelscope library创建对应的python环境。

conda create -n modelscope python=3.7

完成后输入 如下命令进入环境

conda activate modelscope

2 安装pytorch

进入pytorch官网https://pytorch.org/get-started/locally/选择合适的版本，注意这里一定和自己的cuda版本一致，若当前页面没有自己的cuda版本，可以点击图中红字寻找历史版本。

如下图，根据自己的机器环境和CUDA版本选择，我的环境是Ubuntu系统，CUDA是10.2,因此选择下面红框的命令安装。

pip install torch==1.12.1 torchvision==0.13.1 torchaudio==0.12.1

3 ModelScope Library 安装

1. PIP安装
ModelScope Libarary由核心框架，以及不同领域模型的对接组件组成。如果只需要ModelScope模型和数据集访问等基础能力，可以只安装ModelScope的核心框架：

pip install modelscope

如果需要进一步具体使用ModelScope平台上承载的，包括多模态，NLP，CV，语音等不同领域的模型，来进行模型推理以及模型训练、微调等能力，则需要安装各个领域上不同的依赖。例如，

如仅需体验多模态领域的模型，可执行如下命令安装领域依赖：

pip install "modelscope[multi-modal]" 

2. 源码安装
可通过从GitHub上下载ModelScope源码进行安装。适合本地开发调试使用，修改源码后可以直接执行。 ModelScope的源码可以直接clone到本地：

git clone git@github.com:modelscope/modelscope.git
cd modelscope
git fetch origin master
git checkout master

如需体验多模态领域模型，可执行如下命令安装依赖：

pip install ".[multi-modal]"

4 安装验证

安装成功后，即可使用对应领域模型进行推理，训练等操作。这里我们以NLP领域为例。安装后，可执行如下命令，运行中文分词任务，来验证安装是否正确：

python -c "from modelscope.pipelines import pipeline;print(pipeline('word-segmentation')('今天天气不错，适合 出去游玩'))"

5 安装问题

1. 报错no module named ‘open_clip’

pip install open_clip_torch

2. modelscope.preprocessors.multi_modal requires the decord library but it was not found in your environment.

pip install decord>=0.6.0

详细教程参见modelscope官网