Dreambooth Stable Diffusion始化训练环境（AutoDL）

以AutoDL为例

        以下代码源自：赛博华佗——秋叶：

        Akegarasu

环境选择

1. Miniconda: Miniconda是一个轻量级的Conda环境管理系统。它包含了conda、Python和一些常用的包，以及能够管理安装其他包的能力。Miniconda是Anaconda的一个简化版，Anaconda是一个流行的Python科学计算发行版。

2. conda3: 这指的是使用Conda环境管理系统，并且特指Python 3的版本。Conda是一个开源的包管理和环境管理系统，常用于科学计算领域，可以用来安装、运行和升级复杂的科学计算环境。

3. 3.8(ubuntu20.04): 这里指的是使用Python 3.8版本，在Ubuntu 20.04操作系统上。Ubuntu 20.04是一个流行的Linux发行版，Python 3.8是这个版本的Python的一个较新的稳定版本。

4. 11.3: 这个数字指的是NVIDIA CUDA的版本号，CUDA是NVIDIA开发的用于通用并行计算的编程架构，广泛用于深度学习和高性能计算任务。11.3是CUDA的一个具体版本号。

初始化脚本环境

        clone其项目后，首先利用 conda 创建 python 运行环境后再运行 install.sh

git clone https://github.com/Akegarasu/dreambooth-autodl.git
cd dreambooth-audodl
conda create -n diffusers python=3.10
conda init bash && source /root/.bashrc
conda activate diffusers
conda install ipykernel
ipython kernel install --user --name=diffusers
bash install.sh

        将项目文件夹移动到 /autodl-tmp 后打开 dreambooth-aki.ipynb 运行训练

import sys
import os

# 本镜像专属
os.environ["PATH"] = f'/root/miniconda3/envs/diffusers/bin:{os.environ["PATH"]}'
os.environ["HF_HOME"] = ".cache"
DB_SCRIPT_WORK_PATH = os.getcwd() # "/root/autodl-tmp/dreambooth-aki"

!python --version
%cd $DB_SCRIPT_WORK_PATH

TRAINER = "train_dreambooth.py"
CONVERTER = "convert_v3.py"
BACK_CONVERTER = "back_convert.py"

SRC_PATH = "./model-sd"
MODEL_NAME = "./model-hf"

# 模型保存路径
OUTPUT_DIR = "./output"
!mkdir -p $OUTPUT_DIR

        这段代码是设置一个Jupyter笔记本的全局变量，主要用于准备环境以便于训练Stable Diffusion模型。代码执行的主要功能如下：

1. 导入所需的Python库（sys和os）。

2. 设置环境变量：

   • "PATH"：添加一个特定的路径到系统的PATH环境变量中，这个路径是针对一个特定的Python环境设置的，以确保可以访问所需的执行文件。
   • "HF_HOME"：设置Hugging Face库的缓存目录。

3. 获取当前工作目录的路径，并将其存储在变量DB_SCRIPT_WORK_PATH中。

4. 执行系统命令来获取Python的版本信息，并切换到工作目录。

5. 定义一些脚本和模型相关的变量：

   • TRAINER：用于训练模型的Python脚本文件名。
   • CONVERTER：用于转换模型格式的Python脚本文件名。
   • BACK_CONVERTER：用于将训练好的模型转换回原始格式的Python脚本文件名。
   • SRC_PATH：原始模型文件的路径。
   • MODEL_NAME：转换后的模型文件的保存路径。

6. 定义模型输出目录OUTPUT_DIR，并创建该目录（如果它不存在的话）。

        这些步骤为接下来的模型训练和转换工作提供了必要的准备。它设置了环境变量、定义了关键文件路径和脚本名称，并确保了输出目录的存在。

    环境变量PATH

        环境变量PATH是操作系统用来查找可执行文件的目录列表。当你运行一个命令时，系统会在PATH中列出的目录里搜索该命令对应的可执行文件。

f'/root/miniconda3/envs/diffusers/bin:{os.environ["PATH"]}'

        这其中的冒号，其实是一个分隔符。。。。。。

        在PATH环境变量中，路径是按照从左到右的顺序进行搜索的。因此，冒号前面的路径（也就是在变量值的最开始的路径）会被优先搜索。如果在这些路径中找不到所需的可执行文件，系统会继续在冒号后面列出的路径中搜索，直到找到所需的可执行文件或者搜索完所有列出的路径。

        在这个特定的例子中，/root/miniconda3/envs/diffusers/bin被添加到了PATH的最前面，所以系统会首先在这个目录中寻找可执行文件。这种方法常用于确保使用特定环境或版本的程序，特别是在有多个版本的程序安装在系统上时。

os.environ["HF_HOME"] = ".cache"

• os.environ：这是Python中的一个字典，它包含了当前shell环境的所有环境变量。通过修改这个字典，可以改变环境变量的值。

• "HF_HOME"：这是环境变量的名称。HF_HOME是由Hugging Face库使用的特定环境变量，通常用于指定Hugging Face相关文件（如模型缓存、配置文件等）的存储位置。

• "= .cache"：这将HF_HOME的值设置为.cache。这个值是一个相对路径，表示当前目录下的名为.cache的文件夹。

        将HF_HOME设置为.cache的效果是：当使用Hugging Face库（例如，加载模型、下载数据集等）时，它会将所有缓存的数据（如下载的预训练模型）保存到当前工作目录下的.cache文件夹中。这对于管理模型缓存非常有用，特别是在想要控制缓存位置或在多个项目之间共享缓存时。通过这种方式，你可以避免在系统的默认位置（通常是用户的主目录）中堆积过多的缓存文件。

!python --version

       这行代码在Jupyter笔记本中执行一个shell命令，用于检查当前环境中Python的版本。--version参数让Python打印出其版本信息。

DB_SCRIPT_WORK_PATH = os.getcwd() 
# "/root/autodl-tmp/dreambooth-aki"
%cd $DB_SCRIPT_WORK_PATH

   %cd是Jupyter笔记本的魔术命令，用于改变当前工作目录。

OUTPUT_DIR = "./output"
!mkdir -p $OUTPUT_DIR

• 在Jupyter笔记本中执行一个shell命令，用于创建目录。
• mkdir是一个常用的Unix/Linux命令，用于创建新的目录。
• -p参数告诉mkdir命令，如果目录不存在，则创建它；如果目录已经存在，不要报错（不要叫唤）。此外，-p参数还允许创建必要的父目录。

DreamBooth详解

DreamBooth | AiDraw