复现问题记录 | Stable Diffusion(LDM) (in python3)（一）

记录复现LDM遇到的问题

环境

conda env create -f environment.yaml
根据environment.yaml创建一个叫ldm的新环境
其中报错是需要github下载的两个模型无法获取，通过VPN单独下载

• 根据报错信息显示代码放在./src文件夹下

Installing pip dependencies: \ Ran pip subprocess with arguments:
['/home/****/.conda/envs/ldm/bin/python', '-m', 'pip', 'install', '-U', '-r', '/mnt/****/****/latent-diffusion-main/condaenv.ie4dsr_m.requirements.txt']
Pip subprocess output:
Obtaining taming-transformers from git+https://github.com/CompVis/taming-transformers.git@master#egg=taming-transformers (from -r /mnt/****/****/latent-diffusion-main/condaenv.ie4dsr_m.requirements.txt (line 13))
  Cloning https://github.com/CompVis/taming-transformers.git (to revision master) to ./src/taming-transformers

Pip subprocess error:
ERROR: Command errored out with exit status 128: git clone -q https://github.com/CompVis/taming-transformers.git /mnt/****/****/latent-diffusion-main/src/taming-transformers Check the logs for full command output.
                                                                                                                                                       failed

CondaEnvException: Pip failed

• 注意一下模型的文件名，根据报错和yaml分析，这里应该是用的environment.yaml里#egg后面的名字

#environment.yaml
...
  	- -e git+https://github.com/CompVis/taming-transformers.git@master#egg=taming-transformers
    - -e git+https://github.com/openai/CLIP.git@main#egg=clip
    - -e .

放到对应位置后还是不能用，再
pip install taming-transformers
以及
pip install clip
安装很流畅，现在可以正常运行了
可以看到，两个从github手动安装的模型放在这个路径
/home/user/.conda/envs/ldm/lib/python3.8/site-packages/xxx(taming, clip)/

比较疑惑的是如果第一次安装出了问题，想要重新装environment.yaml时，不知道如何利用environment更新已有环境。直接用上面的口令会报下面的错，搜索了很久没有找到解决方案。

CondaValueError: prefix already exists: /home/fangfei/.conda/envs/ldm

---

更新 解决方案
conda env update -n environment_name -f environment.yaml 即可依据environment.yaml更新环境
如果不指定-n则更新到environment.yaml中命名的环境中
参考链接

测试

测试的代码在./script/下

Text-to-Image

首先测试T2I功能，根据README.md
下载pre-trained weights (5.7GB)

mkdir -p models/ldm/text2img-large/
wget -O models/ldm/text2img-large/model.ckpt https://ommer-lab.com/files/latent-diffusion/nitro/txt2img-f8-large/model.ckpt

采样#1

# 官方采样指令
python scripts/txt2img.py 
		--prompt "a virus monster is playing guitar, oil on canvas" 
		--ddim_eta 0.0 
		--n_samples 4 
		--n_iter 4 
		--scale 5.0  
		--ddim_steps 50

This will save each sample individually as well as a grid of size n_iter x n_samples at the specified output location (default: outputs/txt2img-samples).

采样#2

python scripts/txt2img.py 
		--prompt "a painting of a virus monster playing guitar" 
       	--outdir ./outputs/txt2img-samples
        --plms
        --ckpt ./models/ldm/sd-v1-4.ckpt 
       	--ddim_steps 100 
        --H 512 
        --W 512 
        --seed 8

其中sd-v1-4.ckpt 在ComVis下载。按网页指引申请权限就可以获得了，很友好。

直接使用网页生成

stable diffusion