多模态融合的基础问题及算法研究

欢迎来到深度学习的世界 
博客主页:卿云阁

欢迎关注点赞收藏⭐️留言

本文由卿云阁原创!

作者水平很有限,如果发现错误,请留言轰炸哦!万分感谢!


     Illuminating the dark spaces of healthcare with ambient intelligence (nature.com)

上面的论文是李飞飞,发表的nature上的一篇文章。

        数据维度越来越高,数据种类越来越多 ,上图一共展示了5种传感器,如果只根据一个图像,比如第一个图像,很难分析出其中又多少个人,如果我们用第三幅的话,第三幅是热感图像,就可比较容易的看出有哪些人,还有一些其它的传感器,比如深度传感器,声音传感器,运用多元传感器就可以更好的感知。

多模态融合的基础问题及算法研究_第1张图片

     下图是其设想的一个图,我们有了多维的数据之后就可以多模态融合,就可以进行一些下游的任务,最简单的比如分类任务,可以分析当前病房是在护理还是在进行其它活动。

多模态融合的基础问题及算法研究_第2张图片

     多视图机器学习是多源信息融合的关键技术基础,其研究水平直接关系到人工智能在众多重要领域的应用效果。常见的多模态数据集

多模态医学图像数据集_跨模态医学图像数据集-CSDN博客

多模态融合的基础问题及算法研究_第3张图片

     多模态融合的主要目标:利用多源信息有效发现潜在模式,多视图往往可以为数据分析任务提供更为充分的信息进行模式识别,分类,聚类本质上,得到真正的数据,我们得到的数据分布方法是不同视图的。

多模态融合的基础问题及算法研究_第4张图片

多模态数据融合策略,首先就是一致性,互补性,兼容性。

多模态融合的基础问题及算法研究_第5张图片

多模态融合的基础问题及算法研究_第6张图片

多模态融合的基础问题及算法研究_第7张图片

互补性 

多模态融合的基础问题及算法研究_第8张图片

主动增强 

多模态融合的基础问题及算法研究_第9张图片

兼容性

多模态融合的基础问题及算法研究_第10张图片

多模态融合的基础问题及算法研究_第11张图片

每一列代表一个样本,每一行代表一个模态,黑色代表丢掉一个模态。

多模态融合的基础问题及算法研究_第12张图片

多模态融合的基础问题及算法研究_第13张图片

多模态融合的基础问题及算法研究_第14张图片

多模态融合的基础问题及算法研究_第15张图片

多模态融合的基础问题及算法研究_第16张图片

多模态融合的基础问题及算法研究_第17张图片

你可能感兴趣的:(pytorch)