深入浅出熟悉OpenAI最新大作Sora文生视频大模型

蠢蠢欲动，惴惴不安，朋友们我又来了，这个春节真的过的是像过山车，Gemini1.5 PRO还没过劲，OpenAI又放大招，人类真的要认输了吗，让我忍不住想要再探究竟，到底是什么让文生视频发生了质的跃迁，再次不仅止不住唏嘘，那些老板们辛辛苦苦创起来的业，恐怕又被降维打击了一波！

这里主要介绍一下OpenAI的又一大作Sora，之所以不做产品体验，是目前人家还没全量开放，我们就先研究研究人家的开放内容！

报告链接：https://openai.com/research/video-generation-models-as-world-simulators

零、科技前沿资讯

刚刚也就是2月16日，奥特曼发布OpenAI首个视频生成模型Sora，完美继承DALL·E 3的画质和遵循指令能力，能生成长达1分钟的高清视频。一石激起千层浪，我们先看看Sora能做到什么程度，再看看技术界大佬的回复！！！

对此，特斯拉CEO马斯克发推表示：gg人类，要愿赌服输。

360集团董事长周鸿祎认为：AGI可能已经不远了，从此前预测的10年缩短到2~3年内。
影眸科技的CTO张启煊则评价：Sora是我目前看到唯一能跳脱出空镜头生成真正有意义片段的视频生成工具。在他看来，Sora跟Pika、Runway产生了代差，视频生成领域终于被OpenAI支配。
网友们更是被震惊到失语——

• 「一切都结束了，我的饭碗要丢了。」
  
• 「整个电影工业都会随着这次发布的成果而消亡。」
  
• 「AI电影制作人和他们正在制作的项目Be Like」……
  

一、产品简介

文生视频模型Sora。据介绍，Sora可以直接输出长达60秒的视频，并且包含高度细致的背景、复杂的多角度镜头，以及富有情感的多个角色。

二、效果演示

48个视频Demo：动漫电影、逼真自然、魔幻大片：OpenAI一共放出了48个视频来展示Sora模型的强大之处。这里我剪辑了一个视频，完整呈现这些生成视频的视觉效果。

OpenAI发布革命性视频生成工具Sora：48段视频搭配提示词展示，效果令人震撼！！！

三、技术剖析

总的来说，Sora是一个在不同时长、分辨率和宽高比的视频及图像上训练而成的扩散模型，同时采用了Transformer架构，也就是一种“扩散型Transformer”。

技术报告解读：

OpenAI Sora技术报告逐字解读：视频生成模型作为世界模拟器，未来发展在哪里？

关于技术细节，官方报告简单提了以下6点（深入的细节尚未公开）：

1. 视觉数据的“创新转化”。

与大语言模型中的token不同，Sora采用的是“Patches（补片）”来统一不同的视觉数据表现形式。如下图所示，在具体操作中，模型先将视频压缩到低维潜空间中，然后将它们表示分解为时空补片，从而将视频转换为补片。

2. 训练了一个视频压缩网络。

它可以降低视觉数据维度，输入视频，输出时空上压缩的潜表示。Sora就在这上面完成训练。相应地，OpenAI也训练了一个专门的解码器。

3. 时空补片技术（Spacetime latent patches）。

给定一个压缩的输入视频，模型提取一系列时空补片，充当Transformer的token。正是这个基于补片的表示让Sora能够对不同分辨率、持续时间和长宽比的视频和图像进行训练。在推理时，模型则通过在适当大小的网格中排列随机初始化的补片来控制生成视频的大小。

在“ChatGPT是第一个真正意义的人工通用智能”中，笔者总结过大语言模型借助Embedding将人类的语言 “编码”成自己的语言，然后通过注意力Attention从中提取各种丰富的知识和结构，加权积累与关联生成自己的语言，然后“编码”回人类的语言。

与ChatGPT首先引入Token Embedding 思路一致，针对视觉数据的建模方法则作为构建Sora最重要的第一步。碎片Patch已经被证明是一个有效的视觉数据表征模型，且高度可扩展表征不同类型的视频和图像。将视频压缩到一个低维的潜变量空间，然后将其拆解为时空碎片Spacetime Latent Patches。笔者觉得时空碎片是时空建模的关键，统一了时空分割的"语言"。

有了时空碎片这一统一的语言，Sora 自然解锁了多种技能：

• 自然语言理解，采用DALLE3 生成视频文本描述，用GPT丰富文本prompts ，作为合成数据训练Sora, 架起了GPT 与 Sora语言空间的更精确关联，等于在Token与Patch 之间统一了“文字”；
• 图像视频作为prompts，用户提供的图像或视频可以自然的编码为时空碎片Patch，用于各种图像和视频编辑任务 – 静态图动画、扩展生成视频、视频连接或编辑等。

4. 扩展Transformer也适用于视频生成的发现

OpenAI在这项研究中发现，扩散型Transformer同样能在视频模型领域中完成高效扩展。

5. 视频多样化上的一些揭秘

和其他模型相比，Sora能够hold住各种尺寸的视频，包括不同分辨率、时长、宽高比等等。也在构图和布局上优化了更多，很多业内同类型模型都会盲目裁剪输出视频为正方形，造成主题元素只能部分展示，但Sora可以捕捉完整的场景，报告指出，这都要归功于OpenAI直接在视频数据的原始尺寸上进行了训练。

6. 语言理解方面上的功夫

OpenAI采用了DALL·E 3中引入的一种重新标注技术，将其应用于视频。除了使用描述性强的视频说明进行训练，OpenAI也用GPT来将用户简短的提示转换为更长的详细说明，然后发送给Sora。这一系列使得Sora的文字理解能力也相当给力。

关于技术的介绍报告没提太多，剩下的大篇幅都是围绕Sora的一系列效果展示，包括文转视频、视频转视频，以及图片生成。

四、总结

4.1 不足：难以模拟复杂场景，混淆提示词的空间细节

OpenAI坦言，当前Sora目前存在许多局限性，可能难以准确地模拟复杂场景的物理属性，比如玻璃破碎；也可能无法理解因果关系的具体实例。例如，一个人咬了一口饼干，但之后饼干上可能没有咬痕。

该模型还可能混淆提示的空间细节，例如，混淆左和右，并且可能难以精确描述随时间发生的事件，例如跟随特定的摄像机轨迹。

OpenAI强调说，在将Sora应用于OpenAI的产品之前，他们将采取一些重要的安全措施，包括与红队专家合作进行对抗性测试、构建检测分类器等工具来帮助检测误导性内容、计划在未来包含C2PA元数据等。

除了开发新技术为部署做准备外，OpenAI还利用了其为使用DALL·E 3的产品构建的现有安全方法，这些方法也适用于Sora。

4.2 未来：OpenAI终于下场，视频生成模型迎来重磅玩家！

随着OpenAI首款文生视频大模型Sora推出，去年已经如火如荼展开的文生视频大模型大战，今年俨然要通过卷向更强性能，开启落地之年。

其研究团队相信，Sora今天所拥有的能力表明，视频模型的持续扩展是一条很有前途的道路，可以开发出物理和数字世界的模拟器，以及生活在其中的物体、动物和人。

OpenAI承诺将与世界各地的政策制定者、教育工作者和艺术家接触，了解他们的担忧，并确定这项新技术的积极用例。

尽管进行了广泛的研究和测试，但OpenAI团队无法预测人们使用其技术的所有有益方式，也无法预测人们滥用它的所有方式。该团队相信随着时间的推移，从现实世界的使用中学习是创建和发布越来越安全的AI系统的关键组成部分。

如果Sora能够真正意义上实现文生视频，可能会带来哪些影响呢？

1. 没有演员的影视作品出现，对演员来说是个小挑战，将出现真正的“虚拟偶像”，此前的二次元人物并没有真正达到“偶像”的级别。
2. 利好编剧行业，剧本、文本创作力成为核心竞争力。
3. Sora可能才是真正的文生视频，此前的文生视频大多只有2秒，仅仅是对象的小幅度移动。
4. OpenAI继续拉大领先程度，对众多还在进行大模型测试打分pk的厂商，构成压力。
5. 直接的影响是影视行业，特别是特效行业。使用AI来制作一些特效和高风险的镜头，可以大幅降低拍摄成本，也可以避免很多危险。
6. 摄影师行业也会受到影响，用文本来生成一些视频，可以省去很多拍摄工作。
7. 短视频流行开以后，视频剪辑师也随之成为一个热门职业。如果视频剪辑的工作可以用AI来代替，可能会有很多视频剪辑师失业。
8. 对于很多短视频创作者来说，用AI来替代繁琐的剪辑工作，可以大幅提高工作效率。
9. 很多歌手拍摄MV都是大成本制作，如果可以用AI来生成所需要的MV画面，也可以省去很大一部分制作成本。
10. 另外，如果真正意义上的文生视频得以实现，可能会有不法份子利用这项技术实施新手段的违法犯罪。

不过，从Sora官网目前展示的视频画面效果来看，效果还没那么逼近真实，短期内不会产生让行业失业，但会有辅助作用，做个动画片应该问题不大。OpenAI表示，Sora是能够理解和模拟现实世界的模型的基础，OpenAI相信这一能力将是实现AGI的重要里程碑。

五、参考资料

1. 刘润：OpenAI全新发布的Sora，到底意味着什么？

2. 解读OpenAI Sora文生视频技术原理

3. 人人都能看懂的Sora技术报告