多模态机器学习研究分类总结-Multimodal Machine Learning A Survey and Taxonomy
1、整体介绍(1)本文关注的主要三种模态:naturallanguage,visualsignals,vocalsignals.(2)多模态机器学习的五个挑战:representation,translation,alignment,fusion,andco-learning.表1多模态机器学习的应用概述2、简单的历史回顾(1)早期的多模态研究是视听语音识别audio-visualspeechre