Stable Diffusion 长视频真人动画风格互转

Stable Diffusion Temporal-Kit和EbSynth 从娱乐到商用

    • 1. Temporal Kit 和 EbSynth
      • 1.1 提取关键帧
      • 1.2 关键帧风格迁移
      • 1.3 生成序列帧
    • 2. 真人转卡通
    • 3. 卡通转真人
    • 4. 编辑技巧
    • 5. ControlNet + TemporalNet + 达芬奇Fusion
    • 6. Rerender A Video
    • 7. DiffSynth-Studio

基于SD的风格化编辑主流方式:

  • ControlNet-M2M
  • ControlNet img2img
  • Mov2mov extension
  • SD-CN Animation extension
  • Temporal Kit
  • Temporal Kit + EbSynth
  • EbSynth插件

问题:重绘幅度调整太小,基本上和换脸视频差不多,服装通过lora调整加入,关键词权重调很高,基本上不能把视频中的衣服换掉。尝试各种参数设置,效果可能都不是很好。

减少虚影:减少动画插帧数量。

1. Temporal Kit 和 EbSynth

Temporal Kit 和 EbSynth 都是视频风格转换的工具,用于提取关键帧、补全非关键帧。配合各种SD模型的使用方法:

  1. TemporalKit / Ebsynth提取关键帧
  2. Stable Diffusion 风格迁移
  3. TemporalKit / Ebsynth补全重绘后的关键帧图片之间的序列帧,并拼合出了视频。

区别:用Ebsynth进行补帧和合成,相比于Temporal-kit插件Ebsynth utility生成步骤清晰,后期还能指定更换背景。但Ebsynth utility插件生成的重绘效果有些图片会有阴影,需要单独挑出来再次

你可能感兴趣的:(stable,diffusion,音视频)