Talk | 香港中文大学张懿元：由MetaTransformer探索统一的多模态学习

本期为TechBeat人工智能社区第524期线上Talk！

北京时间8月23日(周三)20:00，香港中文大学博士生—张懿元的Talk已准时在TechBeat人工智能社区开播！

他与大家分享的主题是: “探索模态通用感知”，介绍了多模态学习和发展统一的多模态学习的意义，并且探索了统一的多模态学习。

Talk·信息

▼

主题：探索模态通用感知

嘉宾：香港中文大学博士生—张懿元

时间：北京时间 8月23日(周三)20:00

地点：TechBeat人工智能社区

http://www.techbeat.net/

点击下方链接，即可观看视频！

TechBeatTechBeat是荟聚全球华人AI精英的成长社区，每周上新来自顶尖大厂、明星创业公司、国际顶级高校相关专业在读博士的最新研究工作。我们希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。https://www.techbeat.net/talk-info?id=802

Talk·介绍

▼

在迈向通用人工智能（AGI）的诸多可能的方向中，发展多模态大模型（MLLM）已然成为当前炙手可热的重要路径。多模态之间的互补性可以增强人工智能的学习能力，比如，CLIP 将图像与文本进行统一学习的方式就取得了巨大的成功。但受限于多种模态之间巨大的差异性以及现有多模态模型对配对数据的依赖性，实现模态通用感知存在着艰巨挑战。为此，香港中文大学多媒体实验室（CUHK MMLab）联合上海人工智能实验室的OpenGVLAB研究团队提出统一多模态学习框架 Meta-Transformer，一个框架理解 12 种模态信息, 并提供了多模态无边界融合的新范式。

Talk大纲

1、多模态学习的意义

2、发展统一的多模态学习的意义

3、统一的多模态学习的探索

Talk·预习资料

▼

Meta-Transformer：1个框架理解12种模态引发的质变与涌现（已开源）

代码链接：

https://github.com/invictus717/MetaTransformer

Talk·提问交流

▼

在Talk界面下的【交流区】参与互动！留下你的打call和问题，和更多小伙伴们共同讨论，被讲者直接翻牌解答！

你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！ 

Talk·嘉宾介绍

▼

张懿元

香港中文大学博士生

香港中文大学信息工程系博士生（MMLab），指导老师为岳翔宇教授。研究方向为多模态学习和大语言模型。

个人主页: 

https://www.techbeat.net/grzytrkj?id=33768

---

关于TechBeat人工智能社区

▼

TechBeat(www.techbeat.net)隶属于将门创投，是一个荟聚全球华人AI精英的成长社区。

我们希望为AI人才打造更专业的服务和体验，加速并陪伴其学习成长。

期待这里可以成为你学习AI前沿知识的高地，分享自己最新工作的沃土，在AI进阶之路上的升级打怪的根据地！

更多详细介绍>>TechBeat，一个荟聚全球华人AI精英的学习成长社区