Video-LLaMA An Instruction-tuned Audio-Visual Language Model for Video Understanding 用于视频理解的指令调谐视听语言
1.摘要我们提出了一个多模态框架Video-LLaMA1,它使大型语言模型(LLM)能够理解视频中的视觉和听觉内容。视频-来自冻结的预训练视频和音频编码器和冻结的LLM的美洲驼引导跨模式训练。不像以前的工作,补充线性最小二乘法只处理视觉或听觉信号(朱等,2023;刘等,2023;Huangetal.,2023a),Video-LLaMA通过解决两个挑战来实现视频理解:(1)捕捉视觉场景的时间变化,