目前AI绘图还是比较像开盲盒,虽然能根据语义提供惊艳的图片,但是与设计师所构思的目标还是有一定距离。
那像我们这种没有绘画功底的程序员想要制作出心中的人物(尤其手脚)姿态,该怎样减少随机开盒的次数呢?
本文提供几种精确控制人物动作的方法。
- 如果要了解如何安装sd,可参考《Windows安装Stable Diffusion WebUI及问题解决记录》;
- 如果要了解各种模型及配置参数,可参考《Stable Diffusion 个人推荐的各种模型及设置参数、扩展应用等合集》;
- 如果遇到运行使用时的问题,可参考《Windows使用Stable Diffusion时遇到的各种问题整理》。
注意:正式使用前请先确认你的Stable Diffusion Webui中已经安装了ControlNet
扩展和OpenPose Editor
插件,ControlNet
扩展所需的模型candy
、depth
、openpose
(建议全给装了)也部署到位。
不会安装的同学参考:《Stable Diffusion中ControlNet和OpenPose的安装教程》
流程整理:无论那种方法,操作思路都差不多
大都大同小异,具体摆pose方法我就不写了,多调调就能掌握的。
网址:
https://app.posemy.art/
https://webapp.magicposer.com/
https://www.anyposes.com/
将图片放入controlnet,分析openpose,得到结构图(重要),深度图和边缘图看需要,注意权重、介入和退出的时机。
越白越亮表示离观看者越近,本案例中右侧的人物更亮更白,这说明controlnet的深度图分析错了。
本节参考图中的人物细节有重合的部分,因此将容易混淆的部分用文字描述来约束。
Generation Data:
modelshoot style, 2warrior, fall backward with arms outstretched, push down, Roman Colosseum, helmet, cloudy sky,
Negative prompt: easynegative
Seed: -1, Steps: 32, Sampler: DPM++ SDE Karras, CFG scale: 10
OpenPose Editor
教程:发送到 >>>文生图
,并且配置参数
Generation Data:
modelshoot style, (extremely detailed CG unity 8k wallpaper), full shot body photo of the most beautiful artwork in the world, beautiful women, (1dancer:1.5),(2hands:1.5)
Negative prompt: easynegative, canvas frame, cartoon, 3d, ((disfigured)), ((bad art)), ((deformed)),((extra limbs)),((close up)),((b&w)), wierd colors, blurry, (((duplicate))), ((morbid)), ((mutilated)), [out of frame], extra fingers, mutated hands, ((poorly drawn hands)), ((poorly drawn face)), (((mutation))), (((deformed))), ((ugly)), blurry, ((bad anatomy)), (((bad proportions))), ((extra limbs)), cloned face, (((disfigured))), out of frame, ugly, extra limbs, (bad anatomy), gross proportions, (malformed limbs), ((missing arms)), ((missing legs)), (((extra arms))), (((extra legs))), mutated hands, (fused fingers), (too many fingers), (((long neck))), Photoshop, video game, ugly, tiling, poorly drawn hands, poorly drawn feet, poorly drawn face, out of frame, mutation, mutated, extra limbs, extra legs, extra arms, disfigured, deformed, cross-eye, body out of frame, blurry, bad art, bad anatomy, 3d render
Seed: -1, Steps: 32, Sampler: DPM++ SDE Karras, CFG scale: 10
单纯使用本方法的话,目前没法产生深度图和边缘图。
本方法可以提供深度图、结构图~~~
用blender打开下载的模型,调整人物的姿势,如图:
分别打勾depth
、canny
、pose
后渲染图形就能得到controlnet所需的图片
出图方法如下:
选中openpose后渲染图形
将三张图分别导入controlnet中,参考方案一。
写一下关键字生图。
stable diffusion似乎在这个机位角度对身形的分析并不好,这小粗腿。-_-!
真人摆pose照一张
这种干净单一的画面,controlnet分析出的结果是比较准确的,所以如果真的用于生产制作,那么绿幕或干净的背景还是有一定必要的。
figure skating, Style-Empire, 8k portrait of beautiful young woman, sports
Negative prompt: [lowres, cropped, watermark, jpeg artifacts, low quality, normal quality, bad anatomy, text error, worst quality]
Size: 1024x691, Seed: -1, Steps: 32, Sampler: DPM++ SDE Karras, CFG scale: 5,
如果降低controlnet的约束参数,很可能生图生出双人滑冰~~
简单易用,以后想作图自己做动作就行了。
这是针对图样出完以后的细节修改方法。
生成参考图导入Stable Diffusion的 图生图
>>>局部重绘
画笔涂抹需修改的对象(此处为手)后,配置参数(需多次调整)生图,直到满意为止。
其间可能除了修改主要对象外,对对象周围的部分也可能以涂抹方式修改。
手的光影色彩协调了(其实错了),但细节丢失了。