1.介绍为了学习图片和文本的联合表征,我们提出了知识增强的方法ERNIE-Vil,ERNIE-Vil尝试构建详细的语法连接(物体,属性,以及物体在视觉场景的关系)目前模型不区分常见词，本文将其分为object

论文笔记--ERNIE-VIL2.0:MULTI-VIEWCONTRASTIVELEARNINGFORIMAGE-TEXTPRE-TRAINING1.文章简介2.文章概括3文章重点技术3.1Multi-viewlearning3.2对比损失函数4.文章亮点5.原文传送门6.References1.文章简介标题：ERNIE-VIL2.0:MULTI-VIEWCONTRASTIVELEARNINGFO

论文笔记--ERNIE-ViL:KnowledgeEnhancedVision-LanguageRepresentationsthroughSceneGraphs1.文章简介2.文章概括3文章重点技术3.1

与此同时，百度推出的知识增强跨模态大模型——文心ERNIE-ViL

笔记整理：朱珈徵，天津大学硕士链接：https://www.aaai.org/AAAI21Papers/AAAI-6208.YuFei.pdf动机现有的视觉语言预训练方法试图通过在大的图像文本数据集上的视觉基础任务来学习联合表示，包括基于随机掩码子词的掩码语言建模、掩码区域预测和图像/文本级别的图像-文本匹配。然而，基于随机掩蔽和预测子词，目前的模型没有区分普通词和描述详细语义的词。这些方法忽略了

，aaai）ERNIE-ViL是一个知识增强视觉-语言预训练模型，首次将场景图知识融入到多模态预训练中。

目录前言Vision-languageTasksV+LJointPre-training第一个问题：第二个问题;第三个问题：第四个问题当前已有的一些视觉语言模型对比ERNIE-VIL思路来源下面来看看改论文设计的几个

://mp.weixin.qq.com/s/nB_yCkEXkgjv7saKpcNpng近日，借助飞桨深度学习平台分布式训练领先优势，百度在多模态语义理解领域取得突破，提出知识增强视觉-语言预训练模型ERNIE-ViL

://mp.weixin.qq.com/s/nB_yCkEXkgjv7saKpcNpng近日，借助飞桨深度学习平台分布式训练领先优势，百度在多模态语义理解领域取得突破，提出知识增强视觉-语言预训练模型ERNIE-ViL

01剃头挑子、京韵大鼓、摆地摊，AI技术重现的老北京原声影像又火了剃头挑子、街边地摊、京韵大鼓，多数人可能只在电影、电视剧中看过老北京的这些景象。但早在90年前，就有人将这些场景都拍了下来，而且完好地保存在美国南卡罗莱纳大学影像库。影片中还收录了时代原声，原汁原味地记录了当时老北京的平民生活。90年后，有人将这些影片翻了出来，还用AI进行了修复，包括上色、提高分辨率等操作。从这段影片中，我们能看到

://mp.weixin.qq.com/s/nB_yCkEXkgjv7saKpcNpng近日，借助飞桨深度学习平台分布式训练领先优势，百度在多模态语义理解领域取得突破，提出知识增强视觉-语言预训练模型ERNIE-ViL