使用 Stable Diffusion 生成的仿旧照片和二次元图片

这几天在电脑上运行 Stable Diffusion 玩了玩。这是我机器上的测试页面：https://qizhen.xyz/genimg

这个模型比 Dall.E 的小很多，所以才能在配置不高的个人电脑上跑。而且，我的电脑也只能勉强生成小尺寸的照片。虽然效果可能不如专业网站用的大模型，但有些作品已经很逼真了。我主要试试了生成真实人像以及和二次元人像之间的转化。Diffusion 模型不太擅长逼真的人像，程序生成的人像使用 GFPGAN 改善过的。在人像中，个人感觉这个模型最擅长生成白人年轻女性的照片。我也尝试了让它生成一些中国人的照片，但感觉都不是那么美，实际上多数生成的中国人照片都看起来比较别扭。很可能是因为它的训练集中就有比较多的白人年轻女性照片，或者也可能是因为我生长在中国，对中国人的面貌更敏感，更容易发觉异常。

先贴两张 AI 生成的仿旧照片，看起来还真挺像真的：

接下来几组图片，都是首先生成了左边的真实照片风格的图片，再根据照片转换成了右边二次元图片：

下面这两组图片是先生成的左边的二次元风格图片，再根据它生成右侧的真实照片风格图片：

可以明显感觉到，生成真实照片要困难很多。我猜是，人脑对所谓“真实”照片更挑剔。

下面两组是风景图片，感觉两种风格生成出来的图片区别远没有人像的区别那么大

2023年二月更新：

Stable Diffusion 刚发布的时候，对于人像的处理还比较差的，要配合GAN模型才能生成出比较真实的人像图片。这才几个月，各种针对特定目标的模型就纷纷出炉了。人像自然是最重要一方面，现在 Diffusion 模型直接生成的人像就已经可以以假乱真了。而且，各种专业工具也相继发布，比如，controlnet可以让用户画几个直线表示人体姿势，然后生成相应姿势的人像。
图片生成模型几个月前就已经满足我这种纯业余者的需求了，我一般就用它生成文档或者ppt的插图。目前，在各种工具的加持下，专业领域应该也可以用的上了。

贴一些我制作的图片：

原文：https://ruanqizhen.wordpress.com