这个模型，让前特斯拉AI总监Andrej Karpathy沉迷了整整3天！
来源：新智元
最近，一个叫Xander Steenbrugge的AI研究员兼数码艺术家，上传了一段非常震撼的视频《跨越时间之旅》。
地球上的生物大进化，从原始海洋起始，到远古蜥蜴、恐龙、哺乳动物，再到猴子、猩猩、猿人、智人……最后出现了科幻中的未来世界。
而Steenbrugge也激动地评论道：我们正在跨越一个门槛，生成式人工智能不再只是关于新颖的美学，而是演变成了一个惊人的工具，可以构建强大的、以人为中心的叙事。
Steenbrugge表示，这个视频用了36个连续的短语。为了找到可能的最佳顺序，他尝试了超过一千种不同的提示和种子，并在代码中应用了许多「提示工程」的技巧，来弄清楚到底哪些是有效的，哪些是无效的。
前特斯拉AI高级总监Andrej Karpathy看完后大受震撼，也忍不住手痒尝试了一波。
「超现实的蒸汽朋克神经网络机器，呈大脑形状，放置在一个基座上，上面布满了齿轮制成的神经元」，在输入这段文字后，他的大作也生成了。
2分钟的视频（在A100上渲染约1小时），是通过在随机噪声输入的模型之间平滑插值生成的。
这个名为Stable Diffusion的模型，采用的是在两个句子的意义之间「插值」的方式。插入的地方是语义的间隔，而不是视觉的空格，因此，它极大地改变了故事叙述的方式。
而这，仅仅是由生成式人工智能驱动的数字内容创作革命的开始。
Stable Diffusion：开源模型的里程碑
从2021年初以来，可以从文本描述生成图像的人工智能一直在快速发展。当时，OpenAI用DALL-E 1和CLIP展示了令人印象深刻的结果。
在2022年，OpenAI发布了令人印象深刻的DALL-E 2，谷歌展示了Imagen和Parti，Midjourney推出了公测版，Craiyon创作的AI图像也遍布各种社交媒体。
而就现在最近，Stability AI又发布了一个全新的模型——Stable Diffusion。
不过，与DALL-E 2不同的是，Stable Diffusion可以生成OpenAI禁止的各种知名人士。
虽然像是Midjourney、Pixelz.ai等等这些系统也可以做到，但它们生成的质量，还远没有达到能与Stable Diffusion相媲美的程度，而且还都不是开源的。
现在有请我们的老朋友马斯克，表演一个秒变「黑寡妇」（斯嘉丽·约翰逊）。
显然，作为主要开发者的Stability AI，希望不止一家公司或团队能够训练Stable Diffusion的变体。
比如，你是一个没有海量的GPU算力的研究人员。不用担心，Stable Diffusion即将能够在一块仅有5.1GB VRAM的显卡上运行。
再比如，你是一个平时使用配备苹果M1芯片的MacBook的爱好者，Stable Diffusion也可以运行。只不过，这时图像生成的时间就要从几秒钟变成几分钟了。
如此看来，多模态模型正沿着以前大型语言模型所走的道路前进：远离单一的供应商，并通过开放源码广泛提供众多的替代方案。
此外，Runway已经在研究如何基于Stable Diffusion来实现文本到视频的编辑了。
一句话，让网球场变沙滩；
不管电闪雷鸣，还是风和日丽；
不管是在月球，还是在火星之上；
都无法阻止我打网球……
用计算来加速基础AI的开源
在测试阶段之后，Stable Diffusion就会免费，代码和经过训练的模型将作为开源发布。还将有一个带有Web界面的托管版本，供用户测试系统。
Stable Diffusion 是 Stability AI、RunwayML、LMU Munich、EleutherAI 和 LAION 的研究人员合作的结果。EleutherAI以其开源语言模型GPT-J-6B 和GPT-NeoX-20B等而闻名。
非营利组织 LAION（大规模人工智能开放网络）为训练数据提供了开源LAION 5B数据集，该团队在初始测试阶段根据人工反馈对其进行过滤，以创建最终的LAION-Aesthetics训练数据集。
Runway的Patrick Esser和LMU 慕尼黑的Robin Rombach领导了这个项目，他们在海德堡大学 CompVis小组的研究奠定了这个项目的基础。在海德堡大学，他们创建了广泛使用的VQGAN和Latent Diffusion。这两个模型再加上OpenAI和Google Brain的成果，使Stable Diffusion得以实现。
Stability AI成立于2020年，背后的出资人是数学家、计算机科学家Emad Mostaque。他曾在各种对冲基金担任分析师。
凭借Stability AI和他的私人财富，Mostaque希望能够培育一个开源AI研究社区。他的创业公司之前就支持创建「LAION 5B」数据集。为了训练Stable Diffusion的模型，Stability AI为服务器提供了4,000个Nvidia A100 GPU。
「除了我们的75名员工之外，没有任何其他人拥有决策权——无论是亿万富翁、大型基金，还是政府，我们是完全独立的。」Mostaque说。「我们计划使用我们的计算来加速基础人工智能的开源。」
网友都玩儿疯了
除了开头地两段视频，也有网友用Stable Diffusion生成一段衰老的动画。
他表示，制作过程中在长提示中改变一个词，比在短提示中有更微妙的效果。此外，使用描述，如老，中年，幼儿，通常比说明具体的年龄，如10岁，40岁，80岁效果更好。
此外，还有各种梦幻的静态图片。
「情人」
「狮子」
Leyendecker和Maxence笔下的「黑魂」
「赛博京剧」
彩蛋
感受一下特斯拉的前人工智能和自动驾驶视觉总监Andrej Karpathy被虐的心路历程。
看完大神制作的视频之后，Karpathy非常激动。
然后一波操作搞出来的成果，放进幼儿园小班里都毫无违和感。绝望的Karpathy直呼想要请一位「提示工程师」替自己创作。
最后Karpathy终于悟了，创作出了他非常满意的新作——蒸汽朋克人工神经网络机器，和蓝莓意大利面。
参考资料：
https://stability.ai/blog/stable-diffusion-announcement
推荐阅读
香港理工大学IEEE Fellow 李青教授团队招收机器学习全奖博士/研究助理
西电IEEE Fellow团队出品！最新《Transformer视觉表征学习全面综述》
润了！大龄码农从北京到荷兰的躺平生活（文末有福利哟！）
北京大学图机器学习实验室GLab招收科研实习生/23级博士生
如何做好科研？这份《科研阅读、写作与报告》PPT，手把手教你做科研
香港理工大学招收大数据/机器学习博士后/博士生(全年招聘)
【全奖博士招生】美国普渡大学数字孪生实验室王子然博士团队自动驾驶与VR方向
香港中文大学（深圳）吴保元教授招收全奖博士/博后/访问学生
北京大学智能计算与感知实验室招收硕士/博士/科研实习生
【全奖博士】香港大学招收计算机视觉方向博士/博后/研究助理
一位博士在华为的22年
最新 2022「深度学习视觉注意力 」研究概述，包括50种注意力机制和方法！
【重磅】斯坦福李飞飞《注意力与Transformer》总结，84页ppt开放下载！
2021李宏毅老师最新40节机器学习课程！附课件+视频资料
欢迎大家加入DLer-计算机视觉技术交流群！
大家好，群里会第一时间发布计算机视觉方向的前沿论文解读和交流分享，主要方向有：图像分类、Transformer、目标检测、目标跟踪、点云与语义分割、GAN、超分辨率、人脸检测与识别、动作行为与时空运动、模型压缩和量化剪枝、迁移学习、人体姿态估计等内容。
进群请备注：研究方向+学校/公司+昵称（如图像分类+上交+小明）
长按识别，邀请您进群！