大模型讲习班丨智源张振铎&吴欣雅：多模态大模型及其应用

人工智能研究与应用范式正经历一场剧变，越来越多的顶级团队和杰出人才纷纷加入这一变革浪潮。作为AI大模型科研先锋，智源研究院携手一批卓越的学者与工程师，致力于将尖端技术与经验传授给有潜力的学习者，通过高效的学习方式，让更多人能迅速融入这一重要的历史进程，提升中国在这一领域的人才数量和质量。

大模型前沿技术讲习班第一季第四期（S01E04）将在 2023年10月28日至29日于智源大厦（北京市海淀区成府路150号）召开，本期主题聚焦于“智源FlagOpen大模型开源体系与应用”。本次讲习班将由智源研究院9位研究员担纲介绍 FlagOpen 的近期进展以及落地实践。

其中，10月28日上午10:40-11:40智源研究员张振铎&吴欣雅将讲授《多模态大模型及其应用》。

专家介绍

张振铎，北京智源人工智能研究院NLP和多模态研究中心研究员，清华大学硕士，FlagAI开源项目和悟道·天鹰Aquila模型的核心参与者，负责BAAI InstructFace开源项目的开发工作。主要研究方向包括图像识别、视频识别和检索、多模态生成、大模型预训练等领域，在计算机视觉、人工智能领域顶级学术会议和期刊发表论文多篇。

吴欣雅，北京智源人工智能研究院NLP和多模态研究中心研究员，北京邮电大学硕士，FlagAI开源项目和悟道·天鹰Aquila模型的核心参与者，负责Alt-diffusion开源项目的开发工作。主要研究方向包括大模型，多模态预训练，文图生成等方向。

课程内容

多模态大模型是综合利用多种模态类型（文本，图像，音频）的信息来进行任务处理的大模型，涵盖了多模态检索、生成、编辑等具有实用价值的任务。本次报告将介绍智源研究院推出的AltCLIP多语言CLIP模型，AltDiffusion多语言文生图模型和CoIE指令链多属性编辑模型。

课程提纲

1. 基础理论

   1. 多模态预训练大模型的发展历程

   2. 多模态预训练大模型的常见结构和预训练任务

2. 系列模型介绍

   1. AltCLIP - 多语言文图匹配模型

      1. 模型基本结构

      2. 基于AltCLIP模型的实践

   2. AltDiffusion - 多语言文生图模型

      1. 模型基本结构

      2. 基于AltDiffusion模型的实践

   3. CoIE 指令链多属性编辑模型

      1. 模型基本结构

      2. 基于CoIE模型的实践

欢迎扫码查看更多精彩议题和了解报名详情