【多模态对话】《颠覆性创新:多模态对话与精准区域分割 - VPGTrans & NExT-Chat》学习笔记

【OpenMMLab社区开放麦讲座】《颠覆性创新:多模态对话与精准区域分割 - VPGTrans & NExT-Chat》

1 VPGTrans

1.1 研究问题

1.1.1 模态对齐预训练开销很大:训练时间长

解决方案:迁移已有的VPG(比如BLIP-2 OPT 27B上的VPG)

【多模态对话】《颠覆性创新:多模态对话与精准区域分割 - VPGTrans & NExT-Chat》学习笔记_第1张图片

1.2 训练技巧:两步框架

  1. Projector初始化大学习率warm-up(加速+防止掉点正常训练)
  2. 正常训练

【多模态对话】《颠覆性创新:多模态对话与精准区域分割 - VPGTrans & NExT-Chat》学习笔记_第2张图片

2 NExT-Chat

2.1 研究目标:全都用embedding/特征来做检测和分割

优点

  1. 扩展到segmentation之类的任务比较方便
  2. 可以延续已有的detection或者segmentation的回归loss

【多模态对话】《颠覆性创新:多模态对话与精准区域分割 - VPGTrans & NExT-Chat》学习笔记_第3张图片

你可能感兴趣的:(学习,笔记)