多模态融合的基础问题及算法研究

欢迎来到深度学习的世界 
博客主页：卿云阁

欢迎关注点赞收藏⭐️留言

本文由卿云阁原创！

作者水平很有限，如果发现错误，请留言轰炸哦！万分感谢！

---

     Illuminating the dark spaces of healthcare with ambient intelligence (nature.com)

上面的论文是李飞飞，发表的nature上的一篇文章。

        数据维度越来越高，数据种类越来越多 ，上图一共展示了5种传感器，如果只根据一个图像，比如第一个图像，很难分析出其中又多少个人，如果我们用第三幅的话，第三幅是热感图像，就可比较容易的看出有哪些人，还有一些其它的传感器，比如深度传感器，声音传感器，运用多元传感器就可以更好的感知。

     下图是其设想的一个图，我们有了多维的数据之后就可以多模态融合，就可以进行一些下游的任务，最简单的比如分类任务，可以分析当前病房是在护理还是在进行其它活动。

     多视图机器学习是多源信息融合的关键技术基础，其研究水平直接关系到人工智能在众多重要领域的应用效果。常见的多模态数据集

多模态医学图像数据集_跨模态医学图像数据集-CSDN博客

     多模态融合的主要目标：利用多源信息有效发现潜在模式，多视图往往可以为数据分析任务提供更为充分的信息进行模式识别，分类，聚类本质上，得到真正的数据，我们得到的数据分布方法是不同视图的。

多模态数据融合策略，首先就是一致性，互补性，兼容性。

互补性 

主动增强 

兼容性

每一列代表一个样本，每一行代表一个模态，黑色代表丢掉一个模态。