DeepSpeed 部署中bug以及解决方法

text-generation

1. can’t find Rust compiler

在Linux上安装Rust：
您可以使用curl或者类似包管理器的工具来安装Rust：

1. 使用curl命令安装Rust和Cargo：

curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

此命令将下载并运行脚本，该脚本将自动安装Rust和Cargo，并将其添加到环境变量中。

2. 安装完成后，重新打开终端以更新环境变量。您可以通过以下命令检查Rust是否正确安装：

rustc --version

2. ImportError: cannot import name ‘LlamaTokenizerFast’ from ‘transformers’

这个错误提示表明无法从 Transformers 库中导入名为 LlamaTokenizerFast 的类。要解决这个问题，您可以尝试以下几个步骤：

1. 确认您已经安装了最新的 Transformers 库：请检查您是否已经安装了最新版本的 Transformers 库，您可以使用pip命令来更新Transformers库:

pip install --upgrade transformers

2. 检查LlamaTokenizerFast是否存在于Transformers库中：请确保您在Transformers库中找到了LlamaTokenizerFast类。您可以查看Transformers文档或使用以下命令来检查：

python -c "from transformers import LlamaTokenizerFast"

如果该命令未报告任何错误，则表示LlamaTokenizerFast类可用。

3. 检查Python路径：请确保您的Python路径已正确设置，并且可以找到Transformers库和所需的依赖项。您可以通过运行以下命令来检查Python路径：

python -c "import sys; print(sys.path)"

如果您发现缺少某些目录，请将它们添加到PYTHONPATH环境变量中。

4. 检查其他依赖项：某些Transformers库的功能可能需要其他依赖项。请参阅Transformers文档以了解所需的依赖项，并确保它们已正确安装和配置。

3. RuntimeError: Failed to import transformers.models.llama.tokenization_llama_fast because of the following error (look up to see its traceback): tokenizers>=0.13.3 is required for a normal functioning of this module, but found tokenizers==0.12.1.

这个错误提示表明 Transformers 库中的 Llama 模型需要使用版本号为0.13.3或更高的 tokenizers 库，但当前安装的是较低版本的0.12.1。要解决这个问题，您可以尝试以下几个步骤：

1. 更新tokenizers库：请使用pip命令更新tokenizers库，以确保其版本达到所需的最低版本0.13.3或更高版本：

pip install --upgrade tokenizers

2. 检查Python路径：请确保您的Python路径已正确设置，并且可以找到Transformers库和所需的依赖项。您可以通过运行以下命令来检查Python路径：

python -c "import sys; print(sys.path)"

如果您发现缺少某些目录，请将它们添加到PYTHONPATH环境变量中。

3. 重新启动Python解释器：有时在更新库之后，需要重新启动Python解释器才能使新的库版本生效。请尝试退出Python解释器并重新启动它，然后再次尝试导入Llama模块。

如果上述步骤无法解决问题，请参阅Transformers文档或提交问题报告以获取更多帮助。

stable-diffusion

1. symbol cublasLtGetStatusString version libcublasLt.so.11 not defined in file libcublasLt.so.11 with link time reference

解决方法：

pip uninstall nvidia_cublas_cu11

参考：https://stackoverflow.com/questions/74394695/how-does-one-fix-when-torch-cant-find-cuda-error-version-libcublaslt-so-11-no

4 Connection error, and we cannot find the requested files in the cached path." ValueError: Connection error, and we cannot find the requested files in the cached path. Please try again or make sure your Internet connection is on. #10067

解决办法，导入代理
https://stackoverflow.com/questions/56628194/sslerror-installing-with-pip/56628419