基于LoRA微调部署Stable Diffusion【免费试用阿里云】

Stable Diffusion介绍

Stable Diffusion 是一种文本到图像的潜在扩散模型，由 Runway 和慕尼黑大学合作构建，第一个版本于 2021 年发布。目前主流版本包含 v1.5、v2和v2.1。它主要用于生成基于文本描述得详细图像，也应用于其他任务，如修复图像、生成受文本提示引导的图像到图像的转换等。本文主要讲解如何免费在**阿里云交互式建模（PAI-DSW）**中基于LoRA微调并部署 Stable Diffusion。

环境及资源准备过程

注交互式建模（PAI-DSW）的试用

在使用前，需要先在阿里云上注册并登录自己的账号：https://free.aliyun.com/，
登录完成后，左侧产品类别中选中机器学习平台API

或者可以直接点击 链接，可以看到阿里云在机器学习平台PAI中提供的 3 款试用产品。

选择交互式建模-PAI-DSW，点击立即试用。

选择同意服务协议，并点击立即试用。

点击开通PAI并创建默认工作空间。

点击完成授权（我这里已授权），并点击确认开同并创建默认工作空间。

会显示开通完成，点击进入PAI控制台。

在PAI控制台中点击创建的工作空间。

进入后点击左侧的交互式建模，点击创建实例开始进行实例的创建。

在创建的工作空间中创建实例

填写实例名称，并选择GPU规格，规格名称为ecs.gn7i-c8g1.2xlarge。

选择官方镜像中的stable-diffusion-webui-env:pytorch1.13-gpu-py310-cu117-ubuntu22.04，点击下一步后，再点击创建实例即可。
注意：创建DSW实例需要一定时间，通常大约需要2到15分钟。

创建成功后点击打开，进入PAI-DSW开发环境。

安装 Diffusers

在AI-DSW开发环境的launcher中，选择Tool下的DSW Gallery

查找或搜索Stable Diffusion WebUI使用示例 ，并点击在DSW中打开。

新建单元格，下载所要使用的 Diffuers 仓库

! git clone https://github.com/huggingface/diffusers
! cd diffusers && git checkout e126a82cc5d9afbeb9b476455de24dd3e7dd358a
! cd diffusers && pip install .

验证是否安装成功

import diffusers

配置accelerate。

! mkdir -p /root/.cache/huggingface/accelerate/
! wget -c http://pai-vision-data-sh.oss-cn-shanghai.aliyuncs.com/aigc-data/accelerate/default_config.yaml -O /root/.cache/huggingface/accelerate/default_config.yaml

accelerate配置成功。

安装相关依赖库

! cd diffusers/examples/text_to_image && pip install -r requirements.txt