2022:OFA: Unifying Architectures, Tasks, and Modalities through A Simple S2s Learning Framework
摘要本工作中,我们追求一个多模态预训练的统一范式,以打破复杂任务/特定模态定制的结构。我们提出OFA,一个支持任务全面性的任务不可知和模态不可知的框架,OFA在一个简单的序列到序列的学习框架中,统一了一组不同的跨模态和单模态任务,包括图像生成、视觉接地、图像字幕、图像分类、语言建模等。OFA在预训练和微调阶段都遵循基于指令的学习,对下游任务不需要额外的任务特定层。与最近依赖于超大的跨模态数据集的最