【论文阅读】VideoComposer: Compositional Video Synthesis with Motion Controllability

VideoComposer： 具有运动可控性的合成视频。

paper：[2306.02018] VideoComposer: Compositional Video Synthesis with Motion Controllability (arxiv.org)

由阿里巴巴研发的可控视频生成框架，可以灵活地使用文本条件、空间条件和时序条件来生成视频，比如使用草图、深度图或运动向量等多个组合条件合成目标视频，极大地提高了视频灵活性和可控性。在多模态条件下进行视频生成。

引入了一个时空条件编码器，允许各种条件的灵活组合。使得可以整合多个模态，如草图、遮罩、深度和运动矢量。通过利用多模态控制，可以生成更高质量的视频，更好的细节。