怎么定义世界模型,Sora/Genie/JEPA 谁是世界模型呢?(1)

说这个问题之前先看一下什么是世界模型,它的定义是什么?

      首先世界模型的起源是咋回事呢?

      其实世界模型在ML领域不是什么新概念,远远早于Transfomer这些东西被提出来,因为它最早是强化学习RL领域的,在20世纪90年代由 Juergen Schmiduber实验室给提出来的。

      2018年被Ha和Schmiduber发表了用RNN来做世界模型的论文,相当于给他重新做了一次定义。

     然后就是最近跟着Sora,Genie,还有JEPA一起火了起来,这里面有杨丽坤的功劳,因为他就是一直想研究这东西,而且坦率说,他虽然带着Meta的team弄了Llama,但是心里一直很不爽,他对于现在世界流行的类GPT这种的Transformer的概率模型打心眼里是看不起的。

    

怎么定义世界模型,Sora/Genie/JEPA 谁是世界模型呢?(1)_第1张图片

    

      世界模型东西太多,这里我就总结了3个重要的点:

       1- 必须符合因果论

       2- 必须符合物理定律

       3- 基于离散动作和奖励信号来训练,这个有点牵强,但是姑且加在里面,因为生物体对这个世界的认知,主要靠的就是这个模式。 

      其实看到这这篇文章基本就可以结束了....

      但是我们还是细致分析一下吧,毕竟水我也争取水他一两千字...

      我们先看看几个模型的实现轨迹,关于Sora,Genie, JEPA的。

    

     Sora我就不讲了,感兴趣的可以看这个系列:

上一篇的链接: 多模态MLLM都是怎么实现的(7)-Sora (qq.com)   

上上一篇的链接:

你可能感兴趣的:(分布式,人工智能,深度学习,自然语言处理,机器学习)