多视图信息瓶颈表征学习

标题：Multi-View Information-Bottleneck Representation Learning

Summary

• 论文通过信息瓶颈原则，以及综合使用多视图各个视图之间的公共表征和单个视图的特定表征，来学习得到一个标签信息丰富和鲁棒性强的表征。传统的多视图处理往往是只关注于多个视图之间的公共信息，而忽略了单个视图也有利于后续任务的特定信息，因此本文综合考虑两者，并加入信息瓶颈原则，使得学习得到的表征去除冗余信息。

Problem Statement

• 论文旨在解决多视图表征学习的挑战，如何在多视图之间学习得到共享的信息也学习得到互补的信息，同时还要保证学习得到的表征是去除冗余信息的，具有鲁棒性。

Method

• 信息瓶颈原则：足够支持后续任务的最小信息量。
  
• 学习多个视图的共享表征：该共享表征足够重构所有的视图，因此损失函数就是所有重构误差和。
  
• 单个视图的特定表征：通过自编码器对每个视图进行编码重构，最后拼接起来。
  
• 网路完整的损失函数：多视图+单视图+信息瓶颈：
  
• 对于各个互信息计算进行估计：
• 模型图：
  

Evaluation

• 在多视图上进行聚类任务，评估指标包括： Accuracy (ACC), Normalized Mutual Information (NMI), F-score, and Rand Index (RI)。
• 对于数据集进行加噪处理，体现模型方法的鲁棒性。
• 在使用单视图，多视图，使用单视图表征，使用多视图表征，已经综合的情况下进行消融对比实验。

Conclusion

• 综合考虑多视图之间的公共信息和单个视图的特定信息，以及信息瓶颈理论，可以学习得到高效而且鲁棒性强的表征。

Notes

• In real-world applications, clustering or classification can usually be improved by fusing information from different views.
• Information bottleneck is an approach based on information theory, which formally describes meaningful and relevant information in the data.
• Multi-view representation learning is designed to explore the information from multiple views for better performances.

References

• A survey of multi-view representation learning.
• Deep Adversarial Multi-view Clustering Network.
• Late fusion incomplete multi-view clustering.
• A survey of multi-view machine learning.
• Deep multi-view information bottleneck.
• Generalized latent multi-view subspace clustering.
• Multi-view clustering via deep matrix factorization.