PyTorch 新库 TorchMultimodal 使用说明:将多模态通用模型 FLAVA 扩展到 100 亿参数
先前的文章中,我们介绍了TorchMultimodal,今天我们将从一个具体案例出发,演示如何在TorchDistributed技术加持下,在TorchMultimodal库中扩展多模态基础模型。近年来,大模型已成为一个备受关注的研究领域。以自然语言处理为例,语言模型已经从几亿参数(BERT)发展到了几千亿参数(GPT-3),对下游任务的性能提升显示出重大作用。业界对大规模语言模型如何扩展进行了广