Diffusion惊艳应用大赏

作者 | 白鹡鸰  编辑 | 汽车人

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

点击进入→自动驾驶之心【全栈算法】技术交流群

自从Diffusion模型兴起之后，AI绘画圈又迎来了一波猪突猛进式的强化，早几年还只是Ins的二次元/迪士尼风格滤镜，让人穿上不同服装当接头霸王。现在，你随便输几句话，模型就能刷刷刷给你吐出一大堆精美的图来，画的比你好，风格多样化，还两分钟就交稿。

▲NovelAI画的星球与城市 [1]

虽然用AI搞艺术已经进入了全民应用的时代，但很多人对这个强大的工具的使用方式却让我不由感叹想象力的匮乏。想想吧！我当着妈妈的面打开小蓝鸟搜索这期推送的素材，结果齐刷刷跳出了一大排雪白的胸脯！我妈看我的眼神当场就不对了！！！

那么，今天我们就来看看Diffusion模型还有哪些好玩实用的应用，一起欣赏下吧！

本期内容参考@daniel_eckler。

游戏/动画制作

三维动作生成

模型名为MDM, Human Motion Diffusion Model [2]，只要输入语言描述，就能让三维小人模型做出对应的动作，生成结果具有多样性，每个小人会有一定的动作差异。从demo可以看出，目前动作已经非常生动流畅了。

▲MDM基于描述生成三维动作效果展示

建模贴图

dream-textures，基于Stable Diffusion实现的开源项目，可以自动生成纹理，给模型贴图，可以作为Blender插件部署 [3]。

▲dream-textures贴图效果展示[4]

MineCraft转绘画

另一项基于Stable Diffusion实现的工作，目前未开源，但它的效果展示引发了我无限的遐想 [5]。如果MineCraft转现实风格的图片效果这么好，《三体》动画的开发是不是可以基于《我的三体》加快进程了？

▲DiffusionCraft效果展示

增强现实与虚拟现实

虚空画图

Diffusion模型和GravitySketch的结合，原本GravitySketch的绘制效果非常简陋，但加上diffusion模型之后，图像生动了不止一点两点 [6]。

▲加上Diffusion后GravitySketch绘画效果比较

室内环境生成

还是基于Stable Diffusion的开源项目 [7]，能通过VR眼镜“扭曲”你周围的环境并基于一些参考图片进行再生成。老实说总体效果还是有些掉SAN，不过前途无量啊，想想以后在家里，带上VR瞬间变成凡尔赛宫，这不是很爽？

▲Deforum Stable Diffusion效果展示

最佳应用

在大部分人还在用Diffusion捏脸、造原创角色、沉迷美色的时候，有些人的格局已经打开了。直接靠着目前为止漫威的动画、电影素材，把《蜘蛛侠·平行宇宙2》的预告片给造出来了。看到这个整活的时候我内心的震撼程度更甚于当年看到Jack Frost和Elsa、林黛玉和伏地魔的拉郎MV [8]。

结语

Diffusion模型的使用姿势目前为止还没有被完全开发，它的潜力很大程度上取决于人类想象力能有多么精彩。所以说，还请大家整活的时候含蓄一点，免得下次我又被逮个现行，百口莫辩跳进黄河洗不清了！

最后是题图里承诺的爆照时间——

没错，网络上，没有人知道小爷是一只电子鸟（图片由HuggingFace-Stable Diffusion生成 [9]）。

[1] @Kemono_VR

[2]https://guytevet.github.io/mdm-page/

[3]https://github.com/carson-katri/dream-textures/tree/0.0.5

[4]@Kdawg5000

[5]https://www.youtube.com/watch?v=ThnAnva2RPY

[6]@ThoseSixFaces

[7]https://github.com/deforum-art/deforum-stable-diffusion

[8]@CorridorDigital

[9]https://huggingface.co/spaces/stabilityai/stable-diffusion

【自动驾驶之心】全栈技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多传感器融合、SLAM、光流估计、深度估计、轨迹预测、高精地图、规划控制、模型部署落地、自动驾驶仿真测试、硬件配置、AI求职交流等方向；

添加汽车人助理微信邀请入群

备注：学校/公司+方向+昵称

自动驾驶之心【知识星球】

想要了解更多自动驾驶感知（分类、检测、分割、关键点、车道线、3D目标检测、多传感器融合、目标跟踪、光流估计、轨迹预测）、自动驾驶定位建图（SLAM、高精地图）、自动驾驶规划控制、领域技术方案、AI模型部署落地实战、行业动态、岗位发布，欢迎扫描下方二维码，加入自动驾驶之心知识星球（三天内无条件退款），日常分享论文+代码，这里汇聚行业和学术界大佬，前沿技术方向尽在掌握中，期待交流！