UNIMO:Towards Unified-Modal Understanding and Generation via Cross-Modal Contrastive Learning
**本文内容仅代表个人理解,如有错误,欢迎指正**1.Points1)UNIMO是一个预训练模型,其输入可以有不同的形式(eg,Imagecollections,Textcorpus,Image-TextPairs),并且可以微调后用于单模态(Single-modal)任务与多模态(Multi-modal)任务。即不仅在预训练时利用了image-textpair的数据,还充分利用了大量单模态的数据