【复现】FreeU以及结合AnimateDiff

  code:GitHub - ChenyangSi/FreeU: FreeU: Free Lunch in Diffusion U-Net整了半天发现目前的FreeU好像只支持SD2.1和SDXL啊。。而AnimateDiff​ v1, v2 and v3 都是用的 Stable Diffusion V1.5,不知道该怎么结合了

才发现AnimateDiff更新v3了,以及又发了篇CVPR的改进工作:

在这个版本中,我们通过域适配器LoRA对图像模型进行了微调,以便在推理时具有更大的灵活性。

实现了两个(RGB图像/scribble) SparseCtrl编码器,可以采用固定数量的条件映射来控制生成过程。

域适配器是一个在训练视频数据集的静态帧上进行训练的LoRA模块。这个过程是在训练运动模块之前完成的,并帮助运动模块专注于运动建模,如下图所示。在推理时,通过调整域适配器的LoRA尺度,可以去除训练视频的一些视觉属性,如水印。为了利用SparseCtrl编码器,有必要在管道中使用全域适配器。

【复现】FreeU以及结合AnimateDiff_第1张图片

明天读一下

SDV2-1下载:stabilityai/stable-diffusion-2-1 at main (huggingface.co)

 

你可能感兴趣的:(人工智能)