SparseCtrl:在文本到视频扩散模型中添加稀疏控制。（AnimateDiffV3，官方版AnimateDiff+ControlNet，效果很丝滑）code：GitHub-guoyww/AnimateDiff:OfficialimplementationofAnimateDiff.paper：https://arxiv.org/abs/2311.16933目录文章1介绍2背景3方法4实验5结论

MAKE-A-VIDEO:TEXT-TO-VIDEOGENERATIONWITHOUTTEXT-VIDEODATA数据集Abstract1、Introduction2、Methodpipeline（1）Text-to-imageModel（2）SpatiotemporalLayers（3）伪3D卷积层（4）伪3D注意力层（5）插帧网络（6）训练总结数据集LAION数据集训练图像模型2.3Bdata

Make-a-video:没有文本-视频数据的文本-视频生成。paper：code：ABSTRACT优点:(1)加速了T2V模型的训练(不需要从头开始学习视觉和多模态表示)，(2)不需要配对的文本-视频数据，(3)生成的视频继承了当今图像生成模型的庞大性)。构建具有新颖有效时空模块的T2I模型。首先分解全时间U-Net和注意力张量，并在空间和时间上近似。其次，设计了一个时空pipeline，通过视

DiffusionModels视频生成-博客汇总前言：最近的text-to-video的论文Show-1在MSR-VTT测评数据集上取得了FVD和CLIPSIM指标上的第一名，FID指标上的第二名。

Tune-A-Video:One-ShotTuningofImageDiffusionModelsforText-to-VideoGenerationvideo-to-videoAbstractIntroductionMethodDiffusionModelsLatentDiffusionModelOne-shotVideoGenerationOurTune-A-Videoattentionblo

各个论文用到的主要数据集MSR-VTTKTHMSVD(Youtube2Text)Kinetic(较难获取)UCF-101VaTEX(VideoandTEXt)DatasetTargettaskExamplesSentencesMSR-VTTvideocaption10000(20classes)~20KTHT2V2391-MSVDvideoclassification197040Kineticvi

目录前言项目结构页面交互调整总结前言最近Text-To-Image是一个很火的话题，甚至更进一步的Text-To-Video话题度也在不断上升。

前沿最近在多模态有两篇非常惊艳的工作：一篇是Facebook母公司META在9月30号放出来的Text-to-Video、一篇是Google的Text-to-3D；今天我们来看看第一篇即根据文本直接生成视频