基于函数计算一键部署 Stable Diffusion

一、资源方式介绍

本实验支持开通免费试用、个人账户资源两种实验资源方式。

• 建议首次开通函数计算用户选择开通免费试用。

• 函数计算老用户选择个人账户资源。

在实验开始前，请您选择其中一种实验资源，单击确认开启实验。

二、选择开通免费试用（函数计算首次开通用户）

1.领取函数计算FC试用额度

新客户0元试用资源额度如下：

2023年04月06日20:00之后开通函数计算的用户，可0元享老客户专享套餐，有效期3个月，总价值150元。套餐限购1次，内含四个试用包：50万vCPU*秒 + 100万GB*秒 + 400万次函数调用 + 10万GB*秒GPU。请注意：试用额度不支持抵扣公网出流量和磁盘使用量的费用。如您未购买相关资源包，公网出流量使用量和超出512 MB的磁盘使用量将计入按量付费。本体验涉及使用少量公网出流量和磁盘使用量，为了避免停机风险，请您确保账号中有至少1元余额”，具体计费情况请参考计费概述。

1.1 在本实验页面下方卡片会展示本实验支持的试用规格，选择函数计算FC并单击立即试用。

1.2 首次开通函数计算的新客户，可以在函数计算新客首购套餐页面，单击立即购买。

2.领取文件存储NAS试用额度。

文件存储 NAS 0元试用资源额度如下：

文件存储 NAS 提供通用型 NAS资源包50GiB ，使用期限3个月。本实验使用性能型NAS，性能型NAS 5.47 50 GiB 通用型基准容量能抵扣50 ÷ 5.47 = 9.15 GiB 性能型 NAS 使用量。

2.1 在本实验页面下方卡片会展示本实验支持的试用规格，选择文件存储 NAS，并单击立即试用。

2.2 在文件存储NAS页面，单击立即购买。

二、选择个人账户资源（无免费试用资格或函数计算老客户）

如果您没有免费试用资格或者在4月6日20:00前已开通函数计算服务，请您选择个人账户资源进行实验。

函数计算FC老客户

您有两种付费方式：

• 方式一：您可以直接使用函数计算后付费开始实验，计费标准详情请参考计费概述。请您仔细阅读计费标准，防止有意料之外的付费。

• 方式二：本实验推荐您购买函数计算老客户专享套餐包，进行实验。额度如下：

2023年04月06日20:00之前开通函数计算的用户，可9.9元享老客户专享套餐，有效期3个月，总价值150元。套餐限购1次，内含四个试用包：50万vCPU*秒 + 100万GB*秒 + 400万次函数调用 + 10万GB*秒GPU。请注意：试用额度不支持抵扣公网出流量和磁盘使用量的费用。如您未购买相关资源包，公网出流量使用量和超出512 MB的磁盘使用量将计入按量付费。本体验涉及使用少量公网出流量和磁盘使用量，为了避免停机风险，请您确保账号中有至少1元余额”，具体计费情况请参考计费概述。

具体操作为：

3.1 前往 函数计算产品详情页 。单击老客户专享套餐。

3.2 在函数计算老客首购套餐页面，单击立即购买。

文件存储NAS老客户

文件存储NAS老用户，可按量付费或购买NAS资源包进行体验，可参考计费概述

\2. 创建应用&安装模型

再次提醒本实验可领用下方卡片中的函数计算免费额度；首次开通函数计算的新客户，可以购买新客首购套餐；如您是函数计算老客户，可购买老客户专享套餐包（所有套餐包购买请查看第一步骤描述信息）。

请注意领用/购买套餐包进行实验，如选择后付费形式进行实验，请注意账户扣费。计费情况详情请参考计费概述。

1. 前往函数计算控制台。

2. 在左侧导航栏中，单击应用。

注意：如果您之前使用过应用中心，在单击应用之后出现类似于下面的页面，此时您可以单击创建应用继续流程。

1. 在单击应用/创建应用之后，您可以看到应用列表。

1. 在应用页面，人工智能分类，选择“AI数字绘画stable-diffusion自定义模型版”，单击立即创建。

1. 在创建应用页面，了解自动创建的资源，并且选择距离您最近的 地域

\6. 根据实际需要，可以选择不同的绘图风格。内置模型仅供参考，后续如有需要，您可以上传自己的模型。

\7. 此时还需要关注页面上角色名称部分，如果角色名检查缺失云产品的操作权限，请根据引导添加所需的权限

此时需要单击前往授权进行授权，授权完成可能会提示：

说明：如果您的角色名称已有相关权限，可忽略此步骤。

本次实验提供的镜像由Serverless Devs开源项目贡献者贡献，仅供您体验使用。您也可以使用自己的构建的镜像，构建方法详情请参见项目代码内的 README 文档。

\8. 确认以上信息无误后，点击创建应用

\9. 仔细阅读应用创建提醒，确认并勾选已经知晓函数计算收费项目，阅读重要提醒。勾选“我已经了解上面内容，并同意上述描述”，点击“同意并继续部署”开始进行应用部署

10.等待 Stable Diffusion 项目部署，整个过程大概需要2分钟左右

\11. 部署完成后，您可以获得 Stable Diffusion 的访问域名，注意：由于未进行“初始化模型管理”此时您的 Stable Diffusion只能使用内置模型，不能自主换模型，如需自己更换模型请查看第 13步

\12. 点击该域名，您便可以进入 Stable Diffusion 页面。点击生成，可以得到您的第一张图片。（启动后的第一张图需要加载模型，相对后续出图速度相对较慢）

\13. 我们为您内置了一些常用的插件包括“ adetailer\roop\deforum\llul\all in one 等等。为了提升启动加载速度及出图速度这些插件默认关闭，您可以根据需要启用（勾选插件并点击 Apply and quit）插件。插件具体作用及使用方式请根据插件名检索相关的文档和教程。

\14. 如果您需要上传自己的模型，可以在控制台点击 “初始化模型管理”

\15. 存储模型需要使用阿里云另外一款产品，文件储存NAS 为另一款云产品，会产生额外的存储费用。NAS 新用户请务必先领用免费赠送资源后再创建。资源包默认赠送 9GiB 性能型 NAS (三个月免费资源包的 50GiB 需要除以 5.47 倍抵扣系数)。请阅读并了解可能产生的费用，并点击确认

\16. 挂载 NAS 存储

如果您从未创建过 NAS或者首次部署，可选择自动配置，来授权我们自动为您创建 NAS 文件系统。

如果您之前已有 NAS，可以选择“手动配置”，把您想要挂载的 NAS 放进去

\17. 点击确认，等待模型管理初始化完成，大约需要 30秒-2分钟左右

\18. 挂载NAS完成后，您可以在 应用详情——模型管理域名，进入模型管理工具界面，进行模型管理

您也可以在在模型管理标签页进行模型管理，您可以快速跳转到 Stable Diffusion 特定目录，并且通过上传文件按钮传入您自定义的模型

\19. 在管理工具页面，您可以查看函数基本信息、使用集成的 Stable Diffusion 页面、操作文件、通过内置的模型库快速下载模型、查看常见问题的解答

\20. 上传模型（支持压缩文件上传和解压，具体操作可参考“ ControlNet 使用部分）

通过本地上传，您可以将电脑中已有的文件上传云端，通过离线上传，您可以将特定链接的文件上传至云端（位于海外的文件链接可能会由于网络波动导致传输失败）

上传完成后，您可以点击Stable Diffusion 模型旁边的按钮刷看到您上传的文件，并在选择后使用新的模型

\3. 使用模型库

使用模型库

为了方便大家快速下载和使用模型，我们集成了一些热门模型，您可以根据需要进行下载。

模型库使用说明

模型库功能由阿里云 OSS 提供，模型/数据集/文件均来源于第三方，不保证合规性，请您在使用前慎重考虑。这些模型均遵循creativeml-openrail-m或cc-by-nc-sa-4.0许可，请您也遵守该许可的约定。您还应严格遵守法律法规、第三方要求等，特别是不得利用本服务从事违法违规行为（如上传/输入/生成/下载/使用违法或不良信息等）。如您发现任何模型/数据集/文件等有问题，请及时联系我们处理。

相关模型介绍

1. 选择合适的模型，点击 下载模型 ，点击 下载选中的模型

注意：模型将会被下载至您的 文件管理（NAS） 中，这会产生一定的文件存储费用，具体计费见 阿里云文件存储 NAS

1. 开始下载，大概3秒左右即可下载完毕

您也可以在传输列表观观察下载进度

1. 模型下载完毕，文件管理 /mnt/auto/sd/models/Stable-diffusion 已经保存的文件

1. 重启 Stable Diffusion 即可使用模型

\4. 使用文字生成图片

使用文字生成图片

生成图片的操作方式非常简单，只需要在左侧的Prompt输入框中填入提示词，之后单击右侧的Generate按钮即可。

提示词就是生成图片的依据，既可以是描述需要生成内容的词，如：girl, sunset, forest 等；也可以是用于是描述图像属性的词，如：best quality, beautiful, masterpiece 等。我们甚至可以通过提示词选择图片生成的视角、光线、画风；人物的姿势、着装、表情；背景的内容等。

我们建议您加上画风描述词，让您的图片更加美观，如：Cyberpunk（赛博朋克），shinkai makoto（新海诚），Ghibli Studio（吉卜力），Paul Gauguin（梵高）等等

在图片生成的过程中，我们可以在页面上看到生成过程的中间图片逐渐变得清晰。同时，也可以通过进度条直观的了解图片生成的进度和预估剩余时间。

示例：

1. 在Prompt输入框中，填入如下提示词，然后单击Generate。

In a cyberpunk city, a girl is on the street, raining, light effect, Simon Stalenhag, Ian McQue, Ghibli Studio, Beeple, Kaino University

1. 您可以组合各类模型、Lara等玩法，解锁 AI生图的更多乐趣

\5. 释放资源

释放资源

在实验完成之后，如果您需要长期使用，请忽略此步骤。如果您不需要长期使用，请按照如下步骤对资源进行释放。

1. 释放函数计算。

1.1 在应用页面，找到您部署的应用，单击右侧操作列下的删除。

1.2 在删除应用对话框中，选择我一确定资源删除的风险，依旧要删除上面已选择的资源，然后单击删除应用及所选资源。

1. 释放文件存储NAS。请注意这是个高危操作，因为可能会导您的数据丢失。 请您谨慎选择。

2.1 登录文件存储控制台，在文件系统列表页面，找Alibab-Fc开头到目标文件系统，在操作列，选择

>删除。

2.2 移除挂载点及生效策略，然后单击删除。

\6. 计费参考

计费参考

本实验设计到两个产品的付费：阿里云函数计算，阿里云文件存储 NAS

1. 函数计算费用

1.1 流量费用（小额）

请您根据实际情况进行评估，更多计费详情，请请参考计费概述。

磁盘使用量 和 公网出流量不包含在函数计算试用额度内, 只要使用SD必会产生小额费用，如果小明生成100张图，须付的费用为：

• 公网出流量：5MB/每张图 * 100张图 = 500MB， 0.25元（0.50元/GB）

• 磁盘使用量：0.0000017510GB5s生成一张图耗时100张图 = 0.008元（使用量＞512 MB：超出部分0.00000175元/GB秒

1.2 函数计算资源费用

小明使用函数计算部署了 Stable Diffusion 大约要消耗多少函数计算资源呢？

函数计算配置：GPU 16 GB、vCPU 8 核、内存 32 GB

一、首次生成一张图所耗费的资源（冷启动）：

GPU费用 >>> 16*(60+5) = 1040 GB-S

CPU费用 >>> 8*(60+5) = 520

内存费用>>> 32*(60+5) = 2080 GB-S

其中：60秒冷启动，5秒生成一张图。

二、后续生成一张图所耗费的资源（热启动）：

GPU费用 >>> 16*(5) = 80 GB-S

CPU费用 >>> 8*5 = 40

内存费用 >>> 32*5 = 160 GB-S

其中：5s秒生成一张图。

三、假如小明0元购买了免费试用包，或老客专享资源包

资源包额度为：

vCPU试用额度：前50万vCPU*秒vCPU资源使用免费。

内存试用额度：前100万GB*秒内存资源使用免费。

函数调用试用额度：前400万次函数调用免费。

GPU试用额度：前10万GB*秒GPU资源使用免费。

那么小明可以生成的图片数量估计为：

GPU试用额度可生成图片数量：>>> 100000/80 = 1250张

CPU试用额度可生成图片数量：>>> 500000/40 = 12500张

内存试用额度可生成图片数量：>>> 1000000/160 = 6250张

最终小明在免费使用额度，可以免费生成1250张图。

• 注意1：当小明领取了新人函数计算资源包后，可以免费使用104分钟sd-webui，超出104分钟后将开始付费。

• 注意2：**当小明无须SD-WEBUI生成图片时，请及时关闭SD-WEBUI使用界面！！！**进入SD-WEBUI使用界面就会产生计费，无论是否生成图片。

二、文件存储 NAS

小假如小明0元购买了文件存储 NAS 资源包，可上传多少个基础大模型或lora 模型呢？

文件存储NAS提供通用型 NAS资源包50GiB ，使用期限3个月。本实验使用性能型 NAS，性能型NAS 5.47 50 GiB通用型基准容量能抵扣50 ÷ 5.47 = 9.15 GiB性能型NAS使用量。

假如基础大模型3.97G，Lora模型400MB，那么小明使用免费额度可以存储2个大模型，3个Lora模型。

\7. Lora 模型使用

我们看到其他人做的很漂亮的图，其实很大一部分是使用了lora模型构建的，在这里介绍一下如何安装使用。

我们可以从LiblibAI·哩布哩布AI-中国领先的AI创作平台下载lora模型到本地，然后把它上传到/mnt/auto/sd/models/Lora/ 目录。

1. 前往LiblibAI·哩布哩布AI-中国领先的AI创作平台，进行基础模型的筛选。

1. 切换到lora。

1. 选择其中的一个模型并进行下载。

1. 下载完毕后可以更改一下名称，然后上传至mnt/auto/sd/models/lora。

1. 接下来前往WebUI，选择右上角小图标，可以看到您安装的lora模型文件。

1. 回到liblibai，复制一下图片生成信息。

1. 然后就是调参，先选中LoRA，此时正向提示词有相应的变化。

1. 接下来按照我们复制下来的参数进行输入，注意复制参数的lora部分需要去掉，因为我们修改了名字。参数调好开始静待生成。

1. 生成类似下图。

\8. ControlNet 使用

ControlNet 包含插件和模型两部分。为了降低费用消耗，建议先下载到本地后，通过 admin 上传至 NAS。

1. ControlNet 插件地址

项目地址：GitHub - Mikubill/sd-webui-controlnet: WebUI extension for ControlNet

进入页面后，点击右侧绿色的 Code 按钮，并选择 Download ZIP 下载插件代码

（Github 为境外网站，连接可能不稳定，遇到问题可以尝试重试解决）

1. 下载完成后，通过管理工具上传您的下载的 zip 包

1. 刷新下当前目录内容，并将 controlnet 解压到当前目录。

1. 等待解压完成后会自动刷新，此时可以看到解压好的目录

1. 进入目录后，将其中的内容剪切或复制至上一层

1. 在上一层目录粘贴

1. 最终形式如下（此时可以删掉刚才上传的 zip 包以及随机名称的文件夹）

1. 回到 Stable Diffusion，重新加载 WebUI，而后刷新页面

1. 确保扩展插件目录已存在 sd-webui-controlnet，应用并重启用户页面

1. 此时可以看到您的页面上已经有了 ControlNet 配置项

接下来需要下载 SD 需要的模型，进入 HuggingFace，可以看到 ControlNet 官方模型列表

lllyasviel/ControlNet-v1-1 at main

1. 这里我们以 OpenPose 为例，右键 下载按钮，点击复制链接

1. 进入 ControlNet 目录，将上面的文件离线上传。由于 HuggingFace 为境外网站，您可能需要多等待一会时间。也可以先下载到本地后再进行上传。

需要注意的是，OpenPose 还需要一些预处理器，为了提升出图效率并降低费用，建议这些也手动下载

对应地址

下载地址	存放目录
https://huggingface.co/lllyasviel/Annotators/resolve/main/body_pose_model.pth	/mnt/auto/sd/extensions/sd-webui-controlnet-main/annotator/downloads/openpose/body_pose_model.pth
https://huggingface.co/lllyasviel/Annotators/resolve/main/hand_pose_model.pth	/mnt/auto/sd/extensions/sd-webui-controlnet-main/annotator/downloads/openpose/hand_pose_model.pth
https://huggingface.co/lllyasviel/Annotators/resolve/main/facenet.pth	/mnt/auto/sd/extensions/sd-webui-controlnet-main/annotator/downloads/openpose/facenet.pth

除此之外，如果您需要编辑姿势，还需要安装姿势编辑器插件

插件的地址为 GitHub - huchenlei/sd-webui-openpose-editor: Openpose editor for ControlNet. Full hand/face support.

插件安装完成后，在 Release 列表，您还需要下载并上传解压 dist.zip 到 sd-webui-openpose-editor 目录

重载 WebUI 后，您就可以正常使用 OpenPose 功能了

如下图，您需要先上传一张图片，勾选“启用”和“Allow Preview”，选择 “预处理” 为 “openpose_full” 和 “模型” 为 “control_v11p_sd15_openpose”

而后点击他们中间的按钮，即可生成姿势

通过姿势右下角的 edit，您可以自由修改姿势关键节点，并在文生图过程中得到满足姿势的图片